 cnb.cEr0mSxFAFA
|
a88c47e273
|
feat: v1.3-lite-flash 训练代码 + 新词表(vocab_size=47725)
- 用 CharTokenizer.build_vocab 从 977K 数据生成词表 (vocab_size=47725)
- train_cnb.py: batch=224 + accum=2 (等效448) + AMP + torch.compile
- build_vocab.py: 词表生成脚本
- vocab_full.json: 含特殊token完整词表
- 模型 41.85M参数, L40 GPU训练
|
2026-06-19 10:34:37 +08:00 |
|
|
shuiyu1123
|
456c443e9c
|
feat: add CNB cloud training config (GPU Dockerfile + .cnb.yml + train_cnb.py)
|
2026-06-18 18:09:59 +00:00 |
|
|
shuiyu1123
|
231af72de9
|
大整理: 仓库重组 + 新词表 + 新README
- 清理仓库: 删除所有废弃的generate_*脚本和旧版数据文件
- 目录重组:
- data/ → 训练数据
- scripts/ → 数据生成脚本
- templates/ → Web UI
- 重命名:
- train_v2.py → train.py
- vocab_v3.json → vocab.json (BPE, 6.8k tokens)
- 更新 train.py 指向新词表路径
- 重写 README.md 完整文档
- 更新 .gitignore
|
2026-06-18 11:17:30 +00:00 |
|
|
shuiyu1123
|
aead65192e
|
整理仓库: 清理旧分片/测试文件, 更新.gitignore, 添加训练数据
|
2026-06-16 14:12:33 +00:00 |
|
|
shuiyu1123
|
2976bf2030
|
添加模型文件 (Epoch 7, 分2片, bash merge_model.sh合并)
|
2026-06-16 12:47:34 +00:00 |
|
|
shuiyu1123
|
91db488ad4
|
同步代码更新 (2026-06-16)
- 移除 generate_diverse_answers.py（多样化回答已废止）
- 更新 generate_fresh_qa.py（目标50万条新问答）
- 更新 generate_multiturn.py（6~12轮长对话，目标50万）
- 更新 regenerate_all_high_temp.py（独立保存，不追加训练集）
- 更新 .gitignore（忽略新输出目录）
- 所有API Key改为环境变量读取
|
2026-06-16 11:48:30 +00:00 |
|
|
shuiyu1123
|
7f8f607f26
|
同步当前架构和数据 (2026-06-11)
- 训练脚本: train_v2.py + llm_chat_improved.py
- API生成: api_correction.py
- 高温多样化: regenerate_all_high_temp.py
- 每日数据生成: daily_data_gen.py
- 数据: xiaoli_train_v2.json(40776条) + vocab_v2.json
- 蒸馏问题: exam_distill_questions等
- Web服务: web_server.py + chat.html
- 新增 .gitignore 排除旧版文件
|
2026-06-11 14:07:52 +00:00 |
|