feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,77 @@
# 9 月 18 日 星期四
**早上看到的**:妈妈给我穿了一件橙色外套。我看见天空很蓝,没有云。小区门口有一只花猫在晒太阳。
**听到的**:妈妈说:“今天天气好,适合户外运动。”爸爸说:“晚上带乐乐散步。”猫在“喵喵”叫。
**自己说的**:“妈妈,我看到一只猫。”
**脑子里想的**:小猫好可爱,它在晒太阳。我想摸摸它,但妈妈说不能随便摸。
**对话**
- 妈妈:“猫在晒太阳,不要打扰它。”
- 我:“我可以看看吗?”
- 妈妈:“可以,远远地看。”
- 我:“小猫喵喵叫。”
- 王老师:“乐乐早上好,今天看到猫了?”
- 我:“对,橙色的猫。”
- 小明:“我也喜欢猫。”
- 小红:“我喜欢狗。”
- 我:“猫和狗都喜欢。”
- 王老师:“动物是我们的朋友。”
**上午**:户外运动课。
- 王老师:“今天我们去操场跑步。”
- 我:“好!”
- 王老师:“听口令,我说跑就跑,说停就停。”
- 王老师:“跑!”
- 我们跑起来。
- 王老师:“停!”
- 我停下来。
- 小明:“我没停住。”
- 王老师:“多练习。”
**中午**:米饭、炒青菜、鸡腿、紫菜蛋汤。
- 我:“鸡腿好吃。”
- 小明:“我喜欢吃鸡腿。”
- 我:“鸡腿肉嫩嫩的。”
- 小红:“我不爱吃鸡皮。”
- 我:“不吃鸡皮可以撕掉。”
- 王老师:“乐乐会自己处理。”
- 我:“我把鸡皮放一边。”
**下午**:我们学习“请”这个字。
- 王老师:“想要别人帮忙,要说什么?”
- 我:“请帮我。”
- 小红:“请给我水。”
- 小明:“请让一下。”
- 王老师:“请是礼貌的话。”
- 我:“请老师帮我打开。”
- 王老师:“好,乐乐真礼貌。”
- 小明:“请乐乐给我一块积木。”
- 我:“给你。”
- 小明:“谢谢。”
- 我:“不用谢。”
**放学路上**
- 妈妈:“今天跑步了吗?”
- 我:“跑了,老师喊停我就停。”
- 妈妈:“真棒,能听口令。”
- 我:“小明没停住。”
- 妈妈:“他要练习。”
- 我:“我可以教他。”
**晚上家里**
- 爸爸:“晚上散步去哪里?”
- 我:“去公园看猫。”
- 爸爸:“不一定能遇到猫。”
- 我:“那看月亮。”
- 爸爸:“好,今晚月亮很圆。”
- 我:“月亮像饼干。”
- 爸爸:“像大圆饼。”
- 我:“我想咬一口。”
- 爸爸:“哈哈,咬不到。”
**脑子里想的**:明天周五,又能放假了。我想去公园看月亮。
**今天学到的**1. 听口令跑和停。2. 请别人帮忙要有礼貌。3. 月亮是圆的。