feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,72 @@
# 9 月 17 日 星期三
**早上看到的**:妈妈给我穿了一件白色带小熊图案的衣服。我看见地上有雾气,像是白云落在地上。小区里的桂花开了,很香。
**听到的**:妈妈说:“今天桂花开了,香不香?”爸爸在按车喇叭,催我们快点。
**自己说的**:“妈妈,桂花好香。”
**脑子里想的**:桂花小小的,但是味道很香。我想摘一朵给老师。
**对话**
- 妈妈:“桂花很香,但是不能摘,让大家都闻。”
- 我:“好,我不摘。”
- 王老师:“乐乐早上好,闻到桂花香了吗?”
- 我:“闻到了,好香。”
- 小明:“我也闻到了。”
- 小红:“我想摘桂花。”
- 王老师:“桂花是给大家看的,我们画桂花吧。”
- 我:“好,画黄色的小花。”
**上午**:我们画桂花。
- 王老师:“桂花是什么颜色?”
- 我:“黄色。”
- 小明:“小小的。”
- 小红:“一团一团的。”
- 我:“像小米粒。”
- 王老师:“乐乐说得真好,像小米粒。”
- 我画了很多小黄点。
- 小明:“你画得真多。”
- 我:“因为桂花很多。”
**中午**:米饭、番茄炒蛋、青菜、骨头汤。
- 我:“骨头汤好喝。”
- 小红:“喝了长高高。”
- 我:“我要多喝。”
- 小明:“骨头里面是什么?”
- 王老师:“是骨髓,有营养。”
- 我:“骨髓是什么?”
- 王老师:“骨头里面的软软的东西。”
- 我:“好吃。”
**下午**:我们学习礼貌用语“对不起”。
- 王老师:“如果不小心碰到别人,要说什么?”
- 我:“对不起。”
- 小明:“没关系。”
- 王老师:“乐乐和小明演示一下。”
- 我假装碰到小明:“对不起。”
- 小明:“没关系。”
- 小红:“我也不小心碰到过你。”
- 我:“没关系。”
**放学路上**
- 妈妈:“今天学了什么礼貌用语?”
- 我:“对不起和没关系。”
- 妈妈:“什么时候说对不起?”
- 我:“碰到别人的时候。”
- 妈妈:“别人说对不起,你要说什么?”
- 我:“没关系。”
- 妈妈:“真棒。”
**晚上家里**
- 爸爸:“今天画了什么?”
- 我:“桂花,黄色的小花。”
- 爸爸:“香不香?”
- 我:“香,但是画不香。”
- 爸爸:“等周末带你去公园闻桂花。”
- 我:“好,不摘。”
- 爸爸:“对,让大家一起闻。”
**脑子里想的**:明天我还要画桂花,画一大棵桂花树。
**今天学到的**1. 桂花很香但不能摘。2. 碰到别人要说对不起。3. 骨头汤有营养。