1bit-monster/engine

1bit-monster/engine에 모델 선택 라우팅의 정확도를 측정하고 결정 헤드 입력을 덤프하는 명령이 추가됐다.

GitHub 설명: 1bit engine: local LLM inference for AMD Ryzen AI (Strix Halo) inside Lemonade. HRX with our Loom kernels on the Radeon iGPU, plus the XDNA 2 NPU; OpenAI-compatible API. Runs Qwen3.8, Zyphra ZAYA1, ternary Bonsai.

스타

★ 5

포크

2

언어

C++

라이선스

Apache-2.0