feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,74 @@
# 9 月 8 日 星期一
**早上看到的**:又是新的一周,妈妈给我穿了黄色长袖。我看见门口的小狗在摇尾巴。书包上的小兔子有点歪了。
**听到的**:爸爸说:“乐乐,今天要学习新知识。”妈妈在找我的水杯。楼下有小朋友在喊:“上学啦!”
**自己说的**:“我不哭,我要学习。”
**脑子里想的**:我要告诉小明,周末我去了外婆家。还要告诉他我玩了小狗。
**对话**
- 妈妈:“乐乐真棒,今天好好听讲。”
- 我:“好。”
- 王老师:“乐乐早上好!”
- 我:“老师早上好!”
- 小明:“乐乐,周末你去哪里了?”
- 我:“我去了外婆家,吃了饺子。”
- 小明:“我也想吃饺子。”
- 我:“外婆做的饺子可好吃了。”
- 小红:“我去公园了。”
- 我:“我也去公园了,还认识了豆豆。”
- 小红:“豆豆是谁?”
- 我:“新认识的小朋友。”
**上午**:我们学习认识颜色。
- 王老师:“这是什么颜色?”
- 我:“红色。”
- 小红:“这是黄色。”
- 小明:“这是绿色。”
- 王老师:“乐乐说得对。”
- 王老师:“这是什么?”她指着蓝色。
- 我:“蓝色。”
- 王老师:“乐乐真棒。”
- 我:“我的裙子是蓝色。”
- 小红:“我的书包是粉色。”
- 小明:“我的外套是绿色。”
**中午**:米饭、土豆炖肉、青菜、汤。
- 我:“我喜欢吃土豆。”
- 王老师:“土豆软软的,好吃。”
- 小明:“我喜欢吃肉。”
- 我:“肉也好吃。”
- 小红:“青菜也要吃。”
- 我:“我吃了青菜。”
**下午**:我们学习整理玩具。
- 王老师:“玩具玩完要送回家。”
- 我:“我送积木回家。”
- 小明:“我送小汽车回家。”
- 小红:“我把娃娃放好。”
- 王老师:“乐乐把图书摆整齐。”
- 我:“书脊朝外。”
- 王老师:“对,乐乐真棒。”
**放学路上**
- 妈妈:“今天学了什么?”
- 我:“颜色,还有整理玩具。”
- 妈妈:“乐乐会整理玩具了吗?”
- 我:“会,玩具要回家。”
- 妈妈:“那回家整理自己的玩具。”
- 我:“好。”
**晚上家里**
- 我:“妈妈,我会整理玩具。”
- 妈妈:“真棒,去整理。”
- 我把积木放进盒子里,把小汽车放进柜子里,把娃娃放在床上。
- 爸爸:“乐乐整理得真整齐。”
- 我:“玩具都回家了。”
- 妈妈:“明天还要这样做。”
- 我:“好。”
**脑子里想的**:明天我要教小明整理玩具,他的玩具总是乱放。
**今天学到的**1. 认识颜色。2. 玩具要送回家。3. 整理完很整齐。