feat: v1.3-lite-flash 训练代码 + 新词表(vocab_size=47725)

- 用 CharTokenizer.build_vocab 从 977K 数据生成词表 (vocab_size=47725)
- train_cnb.py: batch=224 + accum=2 (等效448) + AMP + torch.compile
- build_vocab.py: 词表生成脚本
- vocab_full.json: 含特殊token完整词表
- 模型 41.85M参数, L40 GPU训练
This commit is contained in:
cnb.cEr0mSxFAFA committed 2026-06-19 10:34:37 +08:00
1 parent a0047a012d
commit a88c47e273
9 files changed
+330 -37

No files matched your search

+24 -1
View File
@@ -5,9 +5,11 @@ __pycache__/
*.log
/tmp/
# 模型权重 — 只追踪发布版本
# 模型权重 — 只追踪发布版本(精简推理版,不含optimizer,约60MB)
*.pth
!/llm_model_v2_resume_epoch_7.pth
!/xiaoli-llm-chat/xiaoli_v2_best_inference.pth
!/xiaoli-llm-chat/xiaoli_v2_final_inference.pth
# 中间输出目录(生成脚本的输出)
high_temp_outputs/
@@ -59,3 +61,24 @@ multiturn_outputs/
# 本地临时
fun_test.py
*.log
# 打包/发布产物
xiaoli_package/
*.zip
# 上传/测试脚本
upload_*.py
_gofile_*
_t.*
_up_test.*
# 旧词表备份
vocab_old.json
vocab_backup*.json
# 数据目录(太大不进git)
data/
# 训练checkpoint(不进git,通过release发布)
xiaoli_cnb_best.pth
xiaoli_cnb_final.pth