29 lines
1006 B
Markdown
29 lines
1006 B
Markdown
# xiaoli-llm-chat
|
||
|
||
#### 介绍
|
||
小狸AI - 旨在最小设备上运行的闲聊心理治疗模型
|
||
|
||
从零训练的特化 Transformer，不依赖任何预训练模型，无需微调对齐，训练完可直接对话。
|
||
|
||
#### 模型特点
|
||
- **超轻量**: 仅 13M 参数，约 20MB 占用
|
||
- **从零训练**: 不基于 LLaMA/GPT 等任何基座，权重完全随机初始化
|
||
- **开箱即用**: 无需 SFT / RLHF，训练完即可对话
|
||
- **安全可控**: 数据内嵌对齐，天然不输出违规内容
|
||
- **闲聊陪伴**: 专注情感价值，不追求通用能力
|
||
|
||
#### 技术栈
|
||
- 架构: Causal Decoder-Only Transformer (RoPE + RMSNorm + SwiGLU)
|
||
- 分词: 字符级词表（3236 tokens）
|
||
- 训练: 自建问答数据 + Astron API 蒸馏
|
||
|
||
#### 使用场景
|
||
- 儿童情感陪伴
|
||
- 轻量级心理倾诉
|
||
- IoT / 嵌入式设备离线对话
|
||
- 隐私安全的本地聊天
|
||
|
||
#### 性能
|
||
- 内存占用: ~20MB
|
||
- 推理速度: CPU 实时（无需 GPU）
|
||
- 可运行平台: 树莓派、手机、手表、低端PC |