feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,70 @@
# 9 月 11 日 星期四
**早上看到的**:妈妈给我穿了一件橙色外套。我看见地上有几片落叶,黄黄的。天空有点阴,像要下雨。
**听到的**:妈妈在听天气预报,说:“今天有雨,带伞。”爸爸在刷牙,“嗡嗡嗡”。
**自己说的**:“妈妈,今天带蓝色的伞。”
**脑子里想的**:下雨天可以踩水坑,但是会弄脏鞋子。我可以穿雨鞋吗?
**对话**
- 妈妈:“蓝色伞可以,穿上小雨靴。”
- 我:“耶!可以踩水坑。”
- 妈妈:“在雨靴里踩,不要把鞋子弄湿。”
- 我:“好。”
- 王老师:“乐乐今天穿雨靴了。”
- 我:“对,可以踩水。”
- 小明:“我也穿了雨靴。”
- 我:“我们一起踩水。”
- 小红:“我没穿,我不能踩。”
- 我:“你站旁边看。”
**上午**:下雨,我们在走廊看雨。
- 王老师:“雨是什么样子的?”
- 我:“小雨滴像线。”
- 小明:“像针。”
- 小红:“雨落到地上变成水花。”
- 王老师:“乐乐说得对,雨滴落下来会有水花。”
- 我:“我想出去踩水。”
- 王老师:“等雨小一点。”
**中午**:米饭、番茄蛋汤、炒土豆丝、鸡肉。
- 我:“鸡肉好吃。”
- 小明:“我喜欢吃皮。”
- 我:“我喜欢吃肉。”
- 小红:“土豆细细的。”
- 我:“像面条。”
- 王老师:“土豆切成丝,像面条一样。”
**下午**:雨小了,老师带我们去操场踩水坑。
- 我:“哇,水坑!”
- 我跳进去:“啪!”
- 小明:“我也来。”
- 我们一起跳:“啪啪啪!”
- 小红:“我也想玩。”
- 我:“你站这里看。”
- 王老师:“乐乐,把鞋子看好。”
- 我:“雨靴不会湿。”
- 王老师:“对,雨靴防水。”
**放学路上**
- 妈妈:“今天踩水了吗?”
- 我:“踩了,水坑啪啪响。”
- 妈妈:“开心吗?”
- 我:“开心!”
- 妈妈:“鞋子湿了吗?”
- 我:“没有,雨靴好。”
**晚上家里**
- 爸爸:“乐乐今天玩水了?”
- 我:“踩水坑。”
- 爸爸:“雨靴有什么用?”
- 我:“不让水进去。”
- 爸爸:“对,雨靴防水。”
- 我:“爸爸,下次下雨还穿雨靴。”
- 爸爸:“好。”
**脑子里想的**:下雨天也很好玩,可以踩水坑。小红没有雨靴,她很羡慕。
**今天学到的**1. 雨靴可以防水。2. 雨落到地上会有水花。3. 下雨天也可以玩。