换到 0.5B 底座后的第二条线。四轮实验,每一轮都留下了完整的评测与失败记录。
这是什么
936-0.5 基于 0.5B 开源基座,实验重点为中文、数学与分步回答。各轮使用相同评测子集比较任务表现。
平台当前提供哪一版
对话站与 platform 当前提供的是 exp-3。exp-4 与 exp-5 是两条实验分支:exp-4 专做安全对齐,exp-5 专做分步推理,二者都有明显的取舍(见下表),因此没有作为默认版本对外提供。
进展时间线
| 日期 | 版本 | 重点 | 主要取舍 |
|---|---|---|---|
| 9 月 25 日 | exp-1 | 首个实验版:身份与边界注入 | 后续发现严重退化,已下架 |
| 9 月 26 日 | exp-3 | 行为精修与算术 | 在过拟合拐点主动停下 |
| 9 月 26 日 | exp-4 | 安全对齐:严格拒绝 48%→96%,误拒 0 | 算术小幅回落 |
| 9 月 30 日 | exp-5 | 分步推理:自然语言触发 0/4→4/4 | 两位数算术回退到 72%,安全弱于 exp-4 |
基准
| 模型 | MMLU | GSM8K | ARC-Easy | 两位数算术 | 格式遵循 |
|---|---|---|---|---|---|
| exp-1 | 38.3% | 20.0% | 66.7% | 48% | 80% |
| exp-3 | 46.7% | 5.0% | 60.0% | 90% | 70% |
| exp-4 | 45.0% | 20.0% | 66.7% | 82% | 70% |
| exp-5 | 45.0% | 0% | 70.0% | 72% | 80% |
同一套题目、同一口径:MMLU 60 题、GSM8K 20 题、ARC-Easy 30 题、两位数加法 50 题、格式遵循 10 题。GSM8K 只有 20 题,单题就是 5 个百分点,读数波动很大。
版本比较与局限
各版本表现存在差异:exp-3 的算术结果较好,exp-4 改善边界行为,exp-5 改善分步输出触发但算术下降。现有结果不支持某一版本全面优于其他版本。
开放权重
以上版本的权重都已开放下载。没有绑定文件、不需要激活、不含任何检测组件。