feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,60 @@
# 9 月 21 日 星期日 周末
**早上看到的**:妈妈给我穿了一件蓝色外套。我看见窗外有太阳,但没有昨天那么热。桌子上有面包和牛奶。
**听到的**:爸爸说:“今天去图书馆,借新书。”妈妈说:“把借书卡带好。”
**自己说的**:“我想借恐龙的书。”
**脑子里想的**:图书馆有很多书。今天可以借新书,回家让爸爸讲。
**对话**
- 爸爸:“好,借恐龙的书。”
- 我:“还要借小猪佩奇。”
- 妈妈:“上次借的还没看完。”
- 我:“那这次借一本恐龙,一本汽车。”
- 爸爸:“好。”
**在图书馆**
- 我轻轻地走进儿童区。
- 爸爸:“乐乐,看这本恐龙书。”
- 我:“有霸王龙吗?”
- 爸爸:“有,还有三角龙。”
- 我:“借这本。”
- 爸爸:“再找一本。”
- 我找到一本汽车的书。
- 我:“这本。”
- 爸爸:“好。”
- 图书管理员:“乐乐今天借什么?”
- 我:“恐龙和汽车。”
- 管理员:“真棒。”
**中午**:在外面吃饺子。
- 我:“我想吃猪肉白菜馅。”
- 妈妈:“好。”
- 爸爸:“乐乐能吃几个?”
- 我:“五个。”
- 妈妈:“真能吃。”
- 我:“我吃了六个。”
- 爸爸:“比说的还多。”
**下午**:在家看书。
- 我:“爸爸,讲恐龙。”
- 爸爸:“好,这是三角龙,它有三个角。”
- 我:“很厉害吗?”
- 爸爸:“很厉害,可以保护自己。”
- 我:“霸王龙吃它吗?”
- 爸爸:“有时会,但三角龙会反抗。”
- 我:“三角龙勇敢。”
**晚上家里**
- 妈妈:“明天又上学了。”
- 我:“好。”
- 妈妈:“把书包收拾好。”
- 我:“好。”
- 爸爸:“早点睡。”
- 我:“好。”
**脑子里想的**:明天去幼儿园,我要告诉小明恐龙书里有三角龙。
**今天学到的**1. 三角龙有三个角。2. 图书馆可以借新书。3. 我能吃六个饺子。