在 AMD Ryzen AI(Strix Halo)上运行本地 LLM 推理的 1bit-monster/engine,其最新提交(2026-11-07,0f45221)新增了测量模型选择路由的命令。这个引擎同时使用 Radeon iGPU 的 HRX 和 XDNA 2 NPU,并提供 OpenAI 兼容 API,`1bit route --laya-models` 上新增了 `--eval` 与 `--dump-encoder`。
这两个选项原样复现服务器实际选择的路径(尺寸门控之后的 Laya 判定)。`--eval` 读取带标签的状态列表(CASES.jsonl),计算准确率、按类别的召回率与精确率、混淆矩阵、置信度、ECE(期望校准误差)、对数损失和判定时间。计算代码被拆分到 `laya/eval.cpp`,并同时新增了无需检查点即可验证的单元测试(`laya_eval_test`)和确认实际运行的 `laya_eval_e2e.sh`。
`--dump-encoder` 按状态保存决策头所接收的输入。最后一次归一化之后的编码器输出(h.f32)、标记位置、qtype 以及引擎计算出的 logits 和概率都会输出为 cases.jsonl,因此只微调决策头并不需要编码器或第二个分词器。新路径需要开启打分器的 `RawOutput::keep_encoder` 才能工作,默认路径没有变化。
不过,这个提交只是新增了功能,并不构成路由质量变好的证据。提交信息只说明评估计算已在没有检查点的情况下经过测试,并未给出实际数值。改动规模为新增 740 行、删除 3 行,新文件带有 Apache-2.0 许可证头。如果想用自己的数据重新衡量该路径,先运行这个评估命令是更贴近的做法。