feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,70 @@
# 9 月 7 日 星期日 周末
**早上看到的**:妈妈给我穿了一条蓝色的裙子。爸爸在把车开到门口。我看见窗外有白色的云,像一只小狗。
**听到的**:爸爸说:“今天去外婆家。”妈妈在打电话:“妈,我们一会儿到。”
**自己说的**:“我想外婆了。”
**脑子里想的**:外婆家有葡萄,还有小狗豆豆。外婆会给我做好吃的。
**对话**
- 妈妈:“外婆给你做了好吃的。”
- 我:“什么好吃的?”
- 妈妈:“饺子。”
- 我:“我喜欢吃饺子。”
- 爸爸:“还有葡萄。”
- 我:“我要吃葡萄。”
**在车上**
- 我:“爸爸,怎么还没到?”
- 爸爸:“快了,还有十分钟。”
- 我:“十分钟是多久?”
- 爸爸:“看十集小猪佩奇。”
- 我:“那很久。”
- 妈妈:“其实很快。”
- 我:“我想听音乐。”
- 妈妈:“好,妈妈放儿歌。”
- 我跟着唱:“小星星,亮晶晶。”
**到外婆家**
- 外婆:“乐乐来了!”
- 我:“外婆好!”
- 外婆:“长高了。”
- 我:“我吃了饭。”
- 外婆:“真棒,待会儿吃饺子。”
- 外公:“乐乐来了,外公抱抱。”
- 我:“外公好。”
**中午**:外婆包的饺子。
- 我:“外婆,饺子真好吃。”
- 外婆:“乐乐多吃点。”
- 我吃了五个饺子。
- 妈妈:“乐乐今天吃得多。”
- 我:“外婆做的好吃。”
- 外婆:“再吃一个。”
- 我:“好。”
**下午**:我和外婆家的小狗玩。
- 我:“豆豆,过来。”
- 小狗跑过来。
- 我摸它的头。
- 外婆:“豆豆喜欢你。”
- 我:“我也喜欢豆豆。”
- 我:“豆豆,握手。”
- 豆豆伸出爪子。
- 我:“真乖。”
- 妈妈:“豆豆比乐乐还听话。”
- 我:“我也很听话。”
**晚上回家**
- 我:“妈妈,我困了。”
- 妈妈:“睡一会儿,到家抱你上床。”
- 我在车上睡着了。
- 爸爸:“到家了。”
- 妈妈:“嘘,让她睡。”
- 爸爸把我抱到床上。
**脑子里想的**:外婆家真好,下次还要来。明天又上幼儿园了。
**今天学到的**1. 外婆家很远但很好玩。2. 小狗会握手。3. 饺子很好吃。