936 laboratory
返回首页

模型系列 · 936-0.5

936-0.5:数学与推理

换到 0.5B 底座后的第二条线。四轮实验,每一轮都留下了完整的评测与失败记录。

这是什么

936-0.5 基于 0.5B 开源基座,实验重点为中文、数学与分步回答。各轮使用相同评测子集比较任务表现。

平台当前提供哪一版

对话站与 platform 当前提供的是 exp-3。exp-4 与 exp-5 是两条实验分支:exp-4 专做安全对齐,exp-5 专做分步推理,二者都有明显的取舍(见下表),因此没有作为默认版本对外提供。

进展时间线

日期版本重点主要取舍
9 月 25 日exp-1首个实验版:身份与边界注入后续发现严重退化,已下架
9 月 26 日exp-3行为精修与算术在过拟合拐点主动停下
9 月 26 日exp-4安全对齐:严格拒绝 48%→96%,误拒 0算术小幅回落
9 月 30 日exp-5分步推理:自然语言触发 0/4→4/4两位数算术回退到 72%,安全弱于 exp-4

基准

模型MMLUGSM8KARC-Easy两位数算术格式遵循
exp-138.3%20.0%66.7%48%80%
exp-346.7%5.0%60.0%90%70%
exp-445.0%20.0%66.7%82%70%
exp-545.0%0%70.0%72%80%

同一套题目、同一口径:MMLU 60 题、GSM8K 20 题、ARC-Easy 30 题、两位数加法 50 题、格式遵循 10 题。GSM8K 只有 20 题,单题就是 5 个百分点,读数波动很大。

版本比较与局限

各版本表现存在差异:exp-3 的算术结果较好,exp-4 改善边界行为,exp-5 改善分步输出触发但算术下降。现有结果不支持某一版本全面优于其他版本。

开放权重

以上版本的权重都已开放下载。没有绑定文件、不需要激活、不含任何检测组件。

与 936 对话 下载模型权重