在 GPT-2 124M 上做指令微调的一条线，从预览版走到正式版，已于 2026 年 9 月 25 日收官。
这是什么
936-0.1 基于 GPT-2 124M 开展指令微调，实验覆盖数据构造、训练、评测与开放权重发布。
进展时间线
| 日期 | 版本 | 变化 |
|---|---|---|
| 9 月 24 日 | Preview-0924 | 首个预览版：指令与角色格式可用 |
| 9 月 24 日 | Preview-0925 | 从基座重训，中文样本占比由 24% 提到 75% |
| 9 月 25 日 | Preview-0925b | 续训一版；随后核实该版权重与上一版相同 |
| 9 月 25 日 | Final | 行为类样本过采样到 28%，系列收官 |
基准
| 指标 | 预览版 | Final |
|---|---|---|
| MMLU | 18.3% | 18.3% |
| GSM8K | 0% | 0% |
| ARC-Easy | 20.0% | 10.0% |
| 两位数算术 | 0% | 0% |
| 格式遵循 | 30% | 10% |
评测子集包含 MMLU 60 题、GSM8K 20 题、ARC-Easy 30 题、两位数加法 50 题和格式遵循 10 题。结果仅适用于所用子集，不作为完整基准分数。
能力与限制
- 可用：区分 system / user / assistant 三种角色，按指令给出结构化回答。
- 中文表达仍受限；分词效率、模型规模与训练分布均可能影响表现。
- 受限：事实类问题准确性有限，不适合当作知识问答使用。
现在还能用吗
936-0.1 可通过在线对话与接口使用，权重按 MIT 许可开放下载。