feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,64 @@
# 9 月 2 日 星期二
**早上看到的**:妈妈帮我穿鞋子,我拿着小兔子书包。窗外的太阳还没出来,天有点灰。我看见了窗台上的绿萝,叶子绿绿的。
**听到的**:电视里在放新闻,妈妈说:“今天可能会下雨,要带伞。”我还听见楼下有人喊:“卖豆浆!”
**自己说的**:“妈妈,我不哭。”
**脑子里想的**:我今天不想哭了,我要当勇敢的小朋友。如果下雨,我可以踩水坑吗?
**对话**
- 妈妈:“乐乐真棒,勇敢的小朋友。”
- 我:“我要当勇敢的小朋友。”
- 王老师:“乐乐早上好!”
- 我:“王老师早上好!”
- 小明跑过来:“乐乐,你来啦!我们一起玩。”
- 我:“好!”
- 小红:“我也和你们一起玩。”
- 我:“好,我们一起搭大房子。”
**上午**:我们玩手指谣。
- 王老师:“小手拍拍,小手拍拍。”
- 我们一起拍手:“手指伸出来。”
- 小红:“我拍到你了。”
- 我:“我也拍到你了。”
- 小明:“我的手拍得响。”
- 我:“我的手也响。”
**看到的**:教室的墙上贴着我们的照片,我的名字写在上面。还有一个大大的太阳。
**中午**:米饭、番茄炒蛋、汤。
- 我:“老师,我想喝汤。”
- 王老师:“好,老师给你盛。”
- 小明:“我不想喝汤。”
- 我:“汤好喝,喝了长高高。”
- 小红:“我也想喝汤。”
**下午**:我们学习洗手。
- 王老师:“先湿手,再打肥皂。”
- 我跟着做:“手心搓一搓,手背搓一搓。”
- 小明:“你的手上有泡泡。”
- 我:“你也有泡泡。”
- 小红:“泡泡白白的。”
- 我:“像白云。”
**放学路上**
- 妈妈:“今天学了什么?”
- 我:“洗手,要搓手心。”
- 妈妈:“真棒,回家给妈妈表演。”
- 我:“我还要教爸爸。”
- 妈妈:“好。”
**晚上家里**
- 我:“妈妈,我会洗手了。”
- 妈妈:“搓一搓,对,手指缝也要洗。”
- 我:“细菌跑光光。”
- 爸爸:“乐乐真厉害,会洗手了。”
- 我:“我还会唱洗手歌。”
- 爸爸:“唱给爸爸听。”
- 我:“自来水,清又清……”
**脑子里想的**:明天我想教小明洗手,他搓得不够久。小红洗手洗得最好。
**今天学到的**1. 洗手要六步。2. 喝汤对身体好。3. 可以和朋友一起玩。