xiaoli-llm-chat/README.md

xiaoli-llm-chat

介绍

小狸AI - 旨在最小设备上运行的闲聊心理治疗模型

从零训练的特化 Transformer，不依赖任何预训练模型，无需微调对齐，训练完可直接对话。

模型特点

• 超轻量: 仅 13M 参数，约 20MB 占用
• 从零训练: 不基于 LLaMA/GPT 等任何基座，权重完全随机初始化
• 开箱即用: 无需 SFT / RLHF，训练完即可对话
• 安全可控: 数据内嵌对齐，天然不输出违规内容
• 闲聊陪伴: 专注情感价值，不追求通用能力

技术栈

• 架构: Causal Decoder-Only Transformer (RoPE + RMSNorm + SwiGLU)
• 分词: 字符级词表（3236 tokens）
• 训练: 自建问答数据 + Astron API 蒸馏

使用场景

• 儿童情感陪伴
• 轻量级心理倾诉
• IoT / 嵌入式设备离线对话
• 隐私安全的本地聊天

性能

• 内存占用: ~20MB
• 推理速度: CPU 实时（无需 GPU）
• 可运行平台: 树莓派、手机、手表、低端PC