feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,77 @@
# 9 月 13 日 星期六 周末
**早上看到的**:太阳从窗帘缝里照进来,我睁开眼睛。妈妈已经起床了,在厨房做早饭。我看见小熊玩具掉在地上。
**听到的**:妈妈在厨房煎鸡蛋,“滋滋滋”。爸爸在客厅里听音乐。
**自己说的**:“妈妈,今天去公园。”
**脑子里想的**:今天和小明、小红去公园。我要带沙桶和小铲子。
**对话**
- 妈妈:“对,一会儿小明和小红来。”
- 我:“我带沙桶。”
- 妈妈:“好,记得穿运动鞋。”
- 我:“好。”
- 爸爸:“乐乐今天有朋友来玩?”
- 我:“小明和小红。”
- 爸爸:“爸爸开车带你们去。”
- 我:“耶!”
**上午**:小明和小红来了。
- 小明:“乐乐,我来了!”
- 我:“小明!”
- 小红:“我也来了。”
- 我:“我们带沙桶。”
- 小红:“我带了小铲子。”
- 小明:“我带了小车。”
- 我:“太好了,一起出发。”
**在公园里**
- 我:“爸爸,我想滑滑梯。”
- 爸爸:“先去玩沙子,再滑滑梯。”
- 我:“好。”
- 我们三个人玩沙子。
- 小明:“我堆了一座山。”
- 小红:“我堆了一个城堡。”
- 我:“我挖了一条河。”
- 小明:“河怎么挖?”
- 我:“用铲子挖一条沟。”
- 小红:“倒点水进去。”
- 我:“好主意。”
**中午**:在公园吃三明治。
- 我:“妈妈做的三明治好吃。”
- 小明:“我妈妈也带了饼干。”
- 小红:“我带了水果。”
- 我:“我们交换吃。”
- 小明:“好。”
- 小红:“给我一块饼干。”
- 我:“给你。”
- 小红:“给你葡萄。”
- 我:“谢谢。”
**下午**:玩滑滑梯。
- 我:“我先滑。”
- 小明:“我先。”
- 小红:“我们排队。”
- 我:“好,小红先。”
- 小红滑下来:“好快!”
- 我:“轮到我了。”
- 我滑下来:“哇!”
- 爸爸:“乐乐,小心一点。”
- 我:“爸爸,我没事。”
**晚上家里**
- 妈妈:“今天玩得累吗?”
- 我:“累,但是开心。”
- 妈妈:“洗澡睡觉。”
- 我:“好。”
- 爸爸:“明天还可以玩一天。”
- 我:“明天去哪里?”
- 爸爸:“明天去图书馆。”
- 我:“好,我想看书。”
**脑子里想的**:今天真开心,明天去图书馆,我要借一本恐龙的书。
**今天学到的**1. 和朋友一起玩很开心。2. 分享食物更好吃。3. 滑滑梯要排队。