1bit-monster/engine

1bit-monster/engine に、モデル選択ルーティングの精度を測定し、決定ヘッドの入力をダンプするコマンドが追加された。

GitHub の説明: 1bit engine: local LLM inference for AMD Ryzen AI (Strix Halo) inside Lemonade. HRX with our Loom kernels on the Radeon iGPU, plus the XDNA 2 NPU; OpenAI-compatible API. Runs Qwen3.8, Zyphra ZAYA1, ternary Bonsai.

スター

★ 5

フォーク

2

言語

C++

ライセンス

Apache-2.0