Commit Graph
17 Commits
Author SHA1 Message Date
shuiyu1123 a02401aa75 fix: LLMTrainer supports lr param 2026-06-18 18:40:25 +00:00
shuiyu1123 edf3a83e3c chore: rewrite .cnb.yml to CI pipeline format with api_trigger event 2026-06-18 18:27:38 +00:00
shuiyu1123 9799aa00c5 chore: set training epochs to 100 2026-06-18 18:25:44 +00:00
shuiyu1123 456c443e9c feat: add CNB cloud training config (GPU Dockerfile + .cnb.yml + train_cnb.py) 2026-06-18 18:09:59 +00:00
shuiyu1123 eb7717e9ce feat: add new general distill script, merged dataset v3 (977K pairs), legacy vocab_v2 2026-06-18 17:56:40 +00:00
shuiyu1123 231af72de9 大整理: 仓库重组 + 新词表 + 新README
- 清理仓库: 删除所有废弃的generate_*脚本和旧版数据文件
- 目录重组:
  - data/       → 训练数据
  - scripts/    → 数据生成脚本
  - templates/  → Web UI
- 重命名:
  - train_v2.py  → train.py
  - vocab_v3.json → vocab.json (BPE, 6.8k tokens)
- 更新 train.py 指向新词表路径
- 重写 README.md 完整文档
- 更新 .gitignore
2026-06-18 11:17:30 +00:00
shuiyu1123 6e0ced4772 添加v3词表 (BPE, 6.8k tokens, 666k数据训练)
- 从666k条训练数据自动学习
- 5812单字 + 1000高频词组
- 编码效率提升33%
- 含小狸特色词组: 捉迷藏/冰淇淋/为什么等
2026-06-17 14:31:25 +00:00
shuiyu1123 aead65192e 整理仓库: 清理旧分片/测试文件, 更新.gitignore, 添加训练数据 2026-06-16 14:12:33 +00:00
shuiyu1123 075492e391 添加训练数据 (666k条, 2分片) 2026-06-16 14:01:47 +00:00
shuiyu1123 8efb4faf73 添加合并脚本: bash merge_model.sh 2026-06-16 12:48:39 +00:00
shuiyu1123 2976bf2030 添加模型文件 (Epoch 7, 分2片, bash merge_model.sh合并) 2026-06-16 12:47:34 +00:00
shuiyu1123 9cef1d9ba1 添加模型文件分片 (Epoch 7, 3 parts + merge script) 2026-06-16 12:10:24 +00:00
shuiyu1123 91db488ad4 同步代码更新 (2026-06-16)
- 移除 generate_diverse_answers.py(多样化回答已废止)
- 更新 generate_fresh_qa.py(目标50万条新问答)
- 更新 generate_multiturn.py(6~12轮长对话,目标50万)
- 更新 regenerate_all_high_temp.py(独立保存,不追加训练集)
- 更新 .gitignore(忽略新输出目录)
- 所有API Key改为环境变量读取
2026-06-16 11:48:30 +00:00
shuiyu1123 eb1d62f85c 紧急修复:移除所有硬编码API Key,改为环境变量 ASTRON_KEY 2026-06-13 04:04:02 +00:00
shuiyu1123 7f27812efd 更新README:旨在最小设备上运行的闲聊心理治疗模型 2026-06-12 15:16:56 +00:00
shuiyu1123 d962c768a5 同步:更新daily_data_gen.py,200+话题+3000条/天 (2026-06-12) 2026-06-12 15:12:40 +00:00
shuiyu1123 7f8f607f26 同步当前架构和数据 (2026-06-11)
- 训练脚本: train_v2.py + llm_chat_improved.py
- API生成: api_correction.py
- 高温多样化: regenerate_all_high_temp.py
- 每日数据生成: daily_data_gen.py
- 数据: xiaoli_train_v2.json(40776条) + vocab_v2.json
- 蒸馏问题: exam_distill_questions等
- Web服务: web_server.py + chat.html
- 新增 .gitignore 排除旧版文件
2026-06-11 14:07:52 +00:00