feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,68 @@
# 9 月 6 日 星期六 周末
**早上看到的**:太阳照进房间,我睁开眼睛。爸爸还没起床,妈妈在厨房。我看见枕头边的小兔子玩具。
**听到的**:妈妈在切菜,“咚咚咚”。窗外有鸟叫。电视里传来动画片的声音,爸爸在看新闻。
**自己说的**:“妈妈,今天不上幼儿园。”
**脑子里想的**:周末可以在家玩,不去幼儿园。我想看动画片,然后去公园。
**对话**
- 妈妈:“对,今天周末,你想做什么?”
- 我:“我想看电视。”
- 妈妈:“看一会儿,然后出去玩。”
- 我:“好。”
- 爸爸:“乐乐,早上想吃什么?”
- 我:“鸡蛋和牛奶。”
- 爸爸:“好,爸爸给你拿。”
**上午**:我在家看动画片《小猪佩奇》。
- 电视里佩奇说:“跳泥坑!”
- 我:“哈哈,跳泥坑!”
- 妈妈:“看电视坐远一点。”
- 我:“我坐远。”
- 妈妈:“看 20 分钟要休息。”
- 我:“好。”
- 乔治:“恐龙!”
- 我:“我也喜欢恐龙。”
**中午**:妈妈做了鸡蛋面。
- 我:“妈妈做的面最好吃。”
- 妈妈:“乐乐嘴巴真甜。”
- 我:“不是甜,是真的好吃。”
- 爸爸:“爸爸觉得也好吃。”
- 我:“爸爸吃了两大碗。”
**下午**:爸爸带我去公园。
- 我:“爸爸,我想滑滑梯。”
- 爸爸:“好,排队玩。”
- 我:“那里有小朋友在玩沙子。”
- 爸爸:“你想玩沙子吗?”
- 我:“想。”
- 爸爸:“好,我们去那边。”
**公园里遇到的小朋友**
- 小朋友:“你叫什么名字?”
- 我:“我叫乐乐,你叫什么?”
- 小朋友:“我叫豆豆。”
- 我:“我们一起堆沙子吧。”
- 豆豆:“好。”
- 豆豆:“我堆了一个城堡。”
- 我:“我堆了一座山。”
- 豆豆:“山和城堡连起来。”
- 我:“好。”
**晚上家里**
- 妈妈:“今天玩得开心吗?”
- 我:“开心,我玩了滑滑梯和沙子。”
- 妈妈:“认识了新朋友?”
- 我:“认识了豆豆。”
- 妈妈:“洗澡睡觉。”
- 我:“好。”
- 爸爸:“明天还去外婆家。”
- 我:“耶!”
**脑子里想的**:明天星期天,还可以去外婆家。外婆家有葡萄和小狗豆豆。
**今天学到的**1. 周末可以看电视但要坐远。2. 公园可以认识新朋友。3. 沙子很好玩。