feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,70 @@
# 9 月 16 日 星期二
**早上看到的**:妈妈给我穿了一件淡紫色的长袖。我看见桌子上放着一碗小米粥和一个小馒头。窗外的树叶被风吹落了几片。
**听到的**:妈妈在厨房洗碗,说:“今天天气凉,多穿一件。”爸爸在看新闻,说:“今天有风。”
**自己说的**:“妈妈,我不冷。”
**脑子里想的**:秋天到了,树叶掉下来。我想捡一片漂亮的叶子带给老师。
**对话**
- 妈妈:“不冷就好,风大要把拉链拉好。”
- 我:“好。”
- 王老师:“乐乐早上好,今天穿得真多。”
- 我:“老师早上好,今天有风。”
- 王老师:“对,秋天风大。”
- 小明:“乐乐,你看我捡了一片叶子。”
- 我:“我也捡了,黄色的。”
- 小红:“我的叶子是红色的。”
- 我:“红色的真好看。”
**上午**:我们观察树叶。
- 王老师:“树叶为什么会掉下来?”
- 我:“因为秋天到了。”
- 小明:“因为风把它吹下来了。”
- 小红:“因为树不要它了。”
- 王老师:“秋天到了,天气变凉,树叶变黄,然后落下来。”
- 我:“像蝴蝶飞下来。”
- 王老师:“对,像蝴蝶。”
**中午**:米饭、南瓜、肉丝、豆腐汤。
- 我:“南瓜黄黄的。”
- 小红:“南瓜甜甜的。”
- 我:“我喜欢吃。”
- 小明:“南瓜像月亮。”
- 我:“圆圆的月亮。”
- 王老师:“南瓜可以做南瓜饼。”
- 我:“我想吃南瓜饼。”
**下午**:我们用树叶贴画。
- 王老师:“用树叶贴一只小动物。”
- 我贴了一只蝴蝶。
- 小明:“我贴了一只鱼。”
- 小红:“我贴了一朵花。”
- 我:“树叶当花瓣。”
- 王老师:“乐乐的蝴蝶真像。”
- 我:“黄色的叶子像翅膀。”
**放学路上**
- 妈妈:“今天用树叶画画了吗?”
- 我:“画了蝴蝶。”
- 妈妈:“给妈妈看看。”
- 我:“在书包里。”
- 妈妈:“真漂亮,贴冰箱上。”
- 我:“好。”
**晚上家里**
- 爸爸:“蝴蝶用什么贴的?”
- 我:“树叶。”
- 爸爸:“真聪明。”
- 我:“秋天叶子掉下来,可以贴画。”
- 爸爸:“对,废物利用。”
- 我:“什么是废物利用?”
- 爸爸:“就是不要的东西还可以用。”
- 我:“叶子不是废物。”
- 爸爸:“对,叶子可以变成画。”
**脑子里想的**:明天我还要捡树叶,贴一只小鸟。
**今天学到的**1. 秋天树叶会落下来。2. 树叶可以贴画。3. 南瓜甜甜的。