feat: add scripts for fetching and training educational corpus

- Implemented `fetch_corpus.py` to scrape Chinese educational content from Wikipedia, covering subjects like Chinese, Math, English, Chemistry, Politics, History, Geography, Physics, and Biology.
- Developed `fetch_corpus_incremental.py` for incremental fetching of missing entries, with automatic retries for rate limiting and support for resuming interrupted downloads.
- Created `train_chat.py` for training a dialogue model, including corpus cleaning, vocabulary management, and staged training with adaptive learning rates.
This commit is contained in:
2026-07-07 17:42:24 +08:00
parent d5affe4458
commit 81f6fd58e0
96 changed files with 53920 additions and 17 deletions

View File

@@ -0,0 +1,37 @@
# 人教版八年级影视上册(2024秋版)
- **来源站点**http://www.dzkbw.com
- **电子课本网目录**http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/
## 目录与官方阅读链接
| 页码 | 章节 | 电子课本网 | 智慧教育平台 |
|------|------|------------|--------------|
| 001 | 第一单元 镜头里的生活 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/001.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=001) |
| 002 | 第1课 感受亲情 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/002.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=002) |
| 003 | 第2课 捕捉身影 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/003.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=003) |
| 004 | 第3课 构建画面 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/004.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=004) |
| 005 | 第4课 创作故事 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/005.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=005) |
| 006 | 第二单元 那时历历在目 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/006.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=006) |
| 007 | 第1课 塑造那时人物 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/007.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=007) |
| 008 | 第2课 还原那时场景 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/008.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=008) |
| 009 | 第3课 塑造那时光影 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/009.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=009) |
| 010 | 第4课 讲述那时故事 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/010.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=010) |
| 011 | 第三单元 致敬经典 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/011.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=011) |
| 012 | 第1课 “看”经典 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/012.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=012) |
| 013 | 第2课 “讲”经典 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/013.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=013) |
| 014 | 第3课 “演”经典 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/014.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=014) |
| 015 | 第4课 “创”经典 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/015.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=015) |
| 016 | 第四单元 形神兼备 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/016.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=016) |
| 017 | 第1课 真实与虚幻 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/017.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=017) |
| 018 | 第2课 百变大圣 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/018.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=018) |
| 019 | 第3课 活灵活现 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/019.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=019) |
| 020 | 第4课 形象跃动 | [查看](http://www.dzkbw.com/books/rjb/yingshi/ys8s_2024/020.htm) | [官方阅读](https://basic.smartedu.cn/tchMaterial/detail?contentType=assets_document&contentId=ba82f8e7-8cb5-2997-5878-e96fda34d545&catalogType=tchMaterial&subCatalog=tchMaterial&page=020) |
## 网络补充资料
### 第一单元 镜头里的生活
- 未找到结果
### 第1课 感受亲情
- 未找到结果