feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,67 @@
# 9 月 14 日 星期日 周末
**早上看到的**:妈妈给我穿了一件黄色的小外套。我看见爸爸把图书馆的借书卡放进口袋里。窗外有云,但没有下雨。
**听到的**:妈妈说:“今天去图书馆,要安静。”爸爸说:“图书馆里不能大声说话。”
**自己说的**:“妈妈,我会安静的。”
**脑子里想的**:图书馆有很多书,我要找恐龙的书。还要找小猪佩奇的书。
**对话**
- 妈妈:“好,到了图书馆轻轻走。”
- 我:“好。”
- 爸爸:“乐乐想看什么书?”
- 我:“恐龙。”
- 爸爸:“好,找恐龙的书。”
- 我:“还要找小猪佩奇。”
- 妈妈:“一次可以借三本。”
- 我:“三本够了。”
**在图书馆**
- 我轻轻地走。
- 爸爸:“乐乐,看那边有儿童区。”
- 我跑过去,又停下来,轻轻走。
- 我找到一本恐龙的书。
- 我:“爸爸,这本。”
- 爸爸:“好,放在这里,再找两本。”
- 我找到一本小猪佩奇,一本小熊。
- 我:“三本了。”
- 爸爸:“去借书。”
- 图书管理员:“小朋友,请排队。”
- 我:“好。”
- 管理员:“拿好借书卡,书要爱护。”
- 我:“我会爱护。”
**中午**:在外面吃面条。
- 我:“妈妈,我想吃牛肉面。”
- 妈妈:“好。”
- 我:“爸爸,你吃什么?”
- 爸爸:“爸爸吃炸酱面。”
- 我:“我也想尝一口。”
- 爸爸:“好,给你一口。”
- 我:“爸爸的也好吃。”
**下午**:在家看书。
- 我:“爸爸,给我讲恐龙。”
- 爸爸:“好,这是什么恐龙?”
- 我:“霸王龙。”
- 爸爸:“霸王龙吃什么?”
- 我:“吃肉。”
- 爸爸:“它厉害吗?”
- 我:“厉害,牙齿很大。”
- 妈妈:“乐乐以后每天看一本书。”
- 我:“好。”
**晚上家里**
- 我:“妈妈,今天图书馆很好玩。”
- 妈妈:“安静的地方也可以好玩。”
- 我:“我借了三本书。”
- 爸爸:“明天上幼儿园,可以告诉小朋友。”
- 我:“好,我要告诉小明。”
- 妈妈:“早点睡,明天要上学。”
- 我:“好。”
**脑子里想的**:图书馆很安静,但是有很多好看的书。明天我要告诉小明和小红。
**今天学到的**1. 图书馆要安静。2. 一次可以借三本书。3. 书要爱护。