feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,73 @@
# 9 月 22 日 星期一
**早上看到的**:妈妈给我穿了一件黄色长袖。我看见路边有工人在扫地,落叶一堆一堆的。天空很蓝。
**听到的**:妈妈说:“秋天真的来了,树叶掉了很多。”扫地的声音“沙沙沙”。
**自己说的**:“妈妈,清洁工叔叔在扫地。”
**脑子里想的**:清洁工叔叔很辛苦,他们把街道扫干净。我要爱护环境,不乱扔垃圾。
**对话**
- 妈妈:“对,清洁工叔叔让我们的街道干净。”
- 我:“我不乱扔垃圾。”
- 妈妈:“乐乐真棒。”
- 王老师:“乐乐早上好!”
- 我:“老师早上好。”
- 小明:“乐乐,我周末去公园了。”
- 我:“我也去图书馆了。”
- 小红:“我去外婆家了。”
- 我:“周末大家都好玩。”
**上午**:我们学习认识“大”和“小”。
- 王老师:“这是大球,这是小球。”
- 我:“大球大,小球小。”
- 小明:“大象大,蚂蚁小。”
- 我:“爸爸大,我小。”
- 小红:“大树大,小草小。”
- 王老师:“大家都说得对。”
- 我:“教室大,我的小椅子小。”
**中午**:米饭、炒豆芽、红烧肉、青菜汤。
- 我:“豆芽细细的。”
- 小红:“像小虫子。”
- 我:“不是虫子,是豆芽。”
- 小明:“我不吃豆芽。”
- 我:“你尝尝,脆脆的。”
- 小明:“好吧,一根。”
- 王老师:“小明今天愿意尝试。”
**下午**:我们玩“找大小”游戏。
- 王老师:“找出教室里最大的东西。”
- 我:“大门。”
- 小明:“柜子。”
- 小红:“窗户。”
- 王老师:“乐乐说得对,大门很大。”
- 王老师:“最小的东西呢?”
- 我:“小珠子。”
- 小红:“小贴纸。”
- 小明:“小蚂蚁。”
- 王老师:“小蚂蚁在教室外面,我们找教室里最小的。”
- 我:“小贴纸。”
**放学路上**
- 妈妈:“今天学什么?”
- 我:“大和小。”
- 妈妈:“家里什么东西大?”
- 我:“床。”
- 妈妈:“什么小?”
- 我:“我的小熊。”
- 妈妈:“真棒。”
**晚上家里**
- 爸爸:“乐乐,今天帮助别人了吗?”
- 我:“帮小明尝豆芽了。”
- 爸爸:“那是鼓励别人。”
- 我:“我还帮老师拿书。”
- 爸爸:“真棒。”
- 妈妈:“明天把恐龙书带去分享。”
- 我:“好。”
**脑子里想的**:明天分享恐龙书,小明一定喜欢。
**今天学到的**1. 大和小。2. 清洁工很辛苦。3. 鼓励别人尝试新东西。