1bit-monster/engine

1bit-monster/engine 新增了用于测量模型选择路由准确度以及导出决策头输入的命令。

GitHub 项目说明: 1bit engine: local LLM inference for AMD Ryzen AI (Strix Halo) inside Lemonade. HRX with our Loom kernels on the Radeon iGPU, plus the XDNA 2 NPU; OpenAI-compatible API. Runs Qwen3.8, Zyphra ZAYA1, ternary Bonsai.

星标

★ 5

复刻

2

语言

C++

许可证

Apache-2.0