feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,74 @@
# 9 月 20 日 星期六 周末
**早上看到的**:太阳已经很大了,我才醒来。妈妈在做早饭。我看见了天花板上的小夜灯,还亮着。
**听到的**:妈妈在厨房炒菜,“滋滋滋”。爸爸在客厅打电话。
**自己说的**:“妈妈,我睡醒了。”
**脑子里想的**:今天不用上学,可以睡懒觉。一会儿去公园,还要吃披萨。
**对话**
- 妈妈:“醒了就起床,刷牙洗脸。”
- 我:“好。”
- 爸爸:“乐乐今天想几点去公园?”
- 我:“吃完早饭就去。”
- 爸爸:“好。”
- 我:“小明和小红什么时候来?”
- 妈妈:“他们十点到。”
- 我:“那我快点吃饭。”
**上午**:小明和小红来了。
- 小明:“乐乐,我来了!”
- 我:“小明!”
- 小红:“我也来了。”
- 我:“我们去公园。”
- 爸爸:“大家牵好手。”
- 我:“好。”
- 我们三个人手拉手走到公园。
**在公园**
- 我:“滑滑梯那里没人,我们快去。”
- 小红:“我先滑。”
- 我:“好。”
- 小红滑下来:“好快!”
- 我:“轮到我了。”
- 我滑下来:“哇!”
- 小明:“我也滑。”
- 爸爸:“你们排队玩,不要抢。”
- 我们:“好。”
**中午**:吃披萨。
- 我:“披萨真好吃。”
- 小明:“我喜欢吃芝士。”
- 小红:“我喜欢吃火腿。”
- 我:“我喜欢吃菠萝。”
- 妈妈:“你们三个都爱吃不同的。”
- 我:“交换吃。”
- 小明:“好。”
- 小红:“给你一块火腿。”
- 我:“给你一块菠萝。”
**下午**:玩沙子。
- 我:“我们一起挖一条河。”
- 小明:“好。”
- 小红:“我来做桥。”
- 我:“桥搭好了。”
- 小明:“倒点水进去。”
- 爸爸:“不要倒太多,会弄脏衣服。”
- 我:“好,倒一点点。”
- 小红:“我们的河做好了。”
- 我:“像真的河。”
**晚上家里**
- 妈妈:“今天玩得开心吗?”
- 我:“开心。”
- 妈妈:“吃了披萨,玩了沙子。”
- 我:“明天还玩吗?”
- 妈妈:“明天看天气。”
- 爸爸:“明天可以去图书馆。”
- 我:“好,我想借新书。”
**脑子里想的**:今天真开心,明天去图书馆借新书。
**今天学到的**1. 周末可以睡懒觉。2. 分享披萨更好吃。3. 和朋友合作可以做出小河。