feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,66 @@
# 人教版部编版一年级语文上册(2024秋版)
- **来源站点**http://www.dzkbw.com
- **电子课本网目录**http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/
## 目录与官方阅读链接
| 页码 | 章节 | 电子课本网 | 智慧教育平台 |
|------|------|------------|--------------|
| 007 | 我上学了 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/007.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=007) |
| 009 | 我爱我们的祖国 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/009.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=009) |
| 011 | 我是小学生 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/011.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=011) |
| 012 | 我爱学语文 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/012.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=012) |
| 013 | 第一单元·识字 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/013.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=013) |
| 014 | 2 金木水火土 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/014.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=014) |
| 016 | 3 口耳目手足 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/016.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=016) |
| 018 | 4 日月山川 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/018.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=018) |
| 020 | 语文园地一 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/020.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=020) |
| 024 | 快乐读书吧 读书真快乐 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/024.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=024) |
| 025 | 第二单元·汉语拼音 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/025.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=025) |
| 027 | 2 i u ü | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/027.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=027) |
| 029 | 3 b p m f | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/029.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=029) |
| 031 | 4 d t n l | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/031.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=031) |
| 033 | 语文园地二 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/033.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=033) |
| 037 | 第三单元·汉语拼音 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/037.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=037) |
| 039 | 6 j q x | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/039.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=039) |
| 041 | 7 z c s | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/041.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=041) |
| 043 | 8 zh ch sh r | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/043.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=043) |
| 045 | 9 y w | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/045.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=045) |
| 047 | 语文园地三 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/047.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=047) |
| 050 | 第四单元·汉语拼音 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/050.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=050) |
| 052 | 11 ɑo ou iu | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/052.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=052) |
| 054 | 12 ie üe er | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/054.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=054) |
| 056 | 13 ɑn en in un ün | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/056.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=056) |
| 059 | 14 ɑng eng ing ong | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/059.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=059) |
| 061 | 语文园地四 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/061.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=061) |
| 065 | 第五单元·阅读 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/065.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=065) |
| 067 | 2 江南 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/067.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=067) |
| 069 | 3 雪地里的小画家 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/069.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=069) |
| 071 | 4 四季 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/071.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=071) |
| 073 | 语文园地五 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/073.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=073) |
| 078 | 第六单元·识字 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/078.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=078) |
| 079 | 6 日月明 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/079.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=079) |
| 081 | 7 小书包 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/081.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=081) |
| 083 | 8 升国旗 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/083.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=083) |
| 085 | 语文园地六 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/085.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=085) |
| 089 | 第七单元·阅读 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/089.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=089) |
| 091 | 6 影子 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/091.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=091) |
| 093 | 7 两件宝 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/093.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=093) |
| 095 | 语文园地七 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/095.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=095) |
| 100 | 第八单元·阅读 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/100.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=100) |
| 102 | 9 乌鸦喝水 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/102.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=102) |
| 104 | 10 雨点儿 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/104.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=104) |
| 106 | 语文园地八 | [查看](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/106.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=1c73b348-e8b6-47d6-84b0-6dbacbe28268&catalogType=tchMaterial&subCatalog=tchMaterial&page=106) |
## 网络补充资料
### 我上学了
- [人教版一年级上册 (2024秋版)语文 (部编版)电子课本](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/)
- [【2024秋季最新高清版】人教部编版一年级语文上册教材电子课本可直接下载](https://www.sohu.com/a/807021872_120155752)
- [2024新人教版一年级语文上册电子课本最新高清版](https://www.sohu.com/a/793737993_121315445)
### 我爱我们的祖国
- [人教版一年级上册 (2024秋版)语文 (部编版)电子课本](http://www.dzkbw.com/books/rjb/yuwen/xs1s_2024/)
- [2024新人教版一年级语文上册电子课本最新高清版](https://www.sohu.com/a/793737993_121315445)
- [【2024秋季最新高清版】人教部编版一年级语文上册教材电子课本可直接下载](https://www.sohu.com/a/807021872_120155752)