feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,52 @@
# 9 月 1 日 星期一 开学第一天
**早上看到的**:妈妈给我穿了一件红色新短袖,书包上有一只小兔子。天空蓝蓝的,太阳很大。我拉着妈妈的手走出家门,小区里有小鸟在叫。
**听到的**:妈妈说:“宝宝,今天去幼儿园,不要哭。”我听到小鸟叫,还有汽车开过去的声音。幼儿园门口有很多小朋友在哭,我也想哭。
**自己说的**:我对妈妈说:“妈妈,我不想进去。”
**脑子里想的**:我想让妈妈陪我一起进去,我不想离开她。
**对话**
- 妈妈:“老师会照顾你的,放学妈妈就来接你。”
- 我:“真的吗?”
- 妈妈:“真的。”
- 王老师蹲下来:“小朋友你好,叫我王老师。”
- 我小声说:“王老师好。”
**白天在幼儿园**:王老师牵着我的手走进教室。教室里有很多小椅子,墙上贴着太阳和云朵。我坐在红色的小椅子上,旁边坐着一个小男孩,他在哭。
- 王老师:“小朋友们,我们先来喝水。”
- 我:“我想妈妈。”
- 王老师:“妈妈下午就来,我们先玩积木。”
- 旁边的小男孩:“我叫小明,你叫什么?”
- 我:“我叫乐乐。”
**看到的**:教室里有积木、娃娃、小汽车、图画书。窗外有树,风吹得树叶动来动去。
**中午**:吃的是米饭、青菜和肉丸。
- 王老师:“乐乐,自己吃饭哦。”
- 我:“我会自己吃。”
- 旁边的小红:“我也自己吃。”
**下午**:我们一起听王老师讲故事,讲了一只小兔子找妈妈。
- 王老师:“故事讲完了,谁来说说小兔子找到了谁?”
- 小明:“找到了妈妈。”
- 我想举手,但是没敢举。
**放学路上**
- 我:“妈妈!”
- 妈妈:“乐乐今天乖不乖?”
- 我:“乖,我吃了饭,还玩了积木。”
- 妈妈:“明天还来吗?”
- 我:“来。”
**晚上家里**
- 爸爸:“乐乐,今天认识了新朋友吗?”
- 我:“认识了小明和小红。”
- 爸爸:“他们好不好?”
- 我:“好,小明给我看他的小汽车。”
**脑子里想的**:幼儿园好像也不是那么可怕,有小明陪我,还有小红。明天我想再玩积木。
**今天学到的**1. 要叫老师好。2. 自己吃饭。3. 可以认识新朋友。