feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,72 @@
# 9 月 10 日 星期三
**早上看到的**:妈妈给我穿了一件白色带小花边的衣服。我看见窗外有一只麻雀停在树枝上,很小很小。妈妈在帮我扎辫子。
**听到的**:爸爸说:“今天是教师节,要跟老师说节日快乐。”妈妈说:“好,准备好了就出发。”
**自己说的**:“妈妈,我要祝老师节日快乐。”
**脑子里想的**:教师节是老师的节日。我要说“王老师节日快乐”,还要画一朵花送给老师。
**对话**
- 妈妈:“对,到了幼儿园跟老师说。”
- 我:“好。”
- 王老师:“乐乐早上好!”
- 我:“王老师节日快乐!”
- 王老师:“谢谢乐乐,乐乐真乖。”
- 小明:“老师也节日快乐。”
- 王老师:“谢谢小明。”
- 小红:“我画了花送给老师。”
- 我:“我也画一朵。”
- 王老师:“你们都是好孩子。”
**上午**:我们画花送给老师。
- 王老师:“花是什么颜色?”
- 我:“红色。”
- 小红:“我画黄色的。”
- 小明:“我画蓝色的花。”
- 我:“有蓝色的花吗?”
- 小明:“我画的就是。”
- 我:“好吧,我的花是红色的。”
- 我把画送给王老师:“老师,送给您。”
- 王老师:“谢谢乐乐,真漂亮。”
**中午**:米饭、鱼、青菜、豆腐汤。
- 我:“有鱼。”
- 王老师:“吃鱼会变聪明。”
- 我:“我要吃。”
- 小明:“有刺吗?”
- 王老师:“老师挑了刺,放心吃。”
- 小红:“我也吃鱼。”
- 我:“鱼软软的。”
**下午**:我们学习唱《老师好》。
- 王老师:“老师老师你好,老师老师你好。”
- 我们一起唱。
- 我唱得很认真。
- 小明:“我唱得比你大声。”
- 我:“我们大家一起唱。”
- 小红:“老师老师谢谢你。”
- 我:“老师老师我爱你。”
**放学路上**
- 妈妈:“今天老师开心吗?”
- 我:“开心,我送了画。”
- 妈妈:“乐乐真有礼貌。”
- 我:“我唱了歌给老师听。”
- 妈妈:“唱的什么?”
- 我:“老师老师你好。”
**晚上家里**
- 爸爸:“今天是什么日子?”
- 我:“教师节。”
- 爸爸:“老师辛苦吗?”
- 我:“辛苦,老师照顾我们。”
- 爸爸:“那你以后要听话。”
- 我:“我听话。”
- 妈妈:“老师也教会你很多东西。”
- 我:“我学会了洗手和唱歌。”
**脑子里想的**:我想送更多画给老师。老师对我们很好。
**今天学到的**1. 教师节要祝老师节日快乐。2. 老师很辛苦。3. 吃鱼会变聪明。