Devotd Github
새 소식추론/서빙

1bit-monster/engine — 라우팅 평가·인코더 덤프 명령 추가

1bit-monster/engine에 모델 선택 라우팅의 정확도를 측정하고 결정 헤드 입력을 덤프하는 명령이 추가됐다.

저장소 정보1bit-monster/engine ↗

1bit-monster/engine에 모델 선택 라우팅의 정확도를 측정하고 결정 헤드 입력을 덤프하는 명령이 추가됐다.

GitHub 설명: 1bit engine: local LLM inference for AMD Ryzen AI (Strix Halo) inside Lemonade. HRX with our Loom kernels on the Radeon iGPU, plus the XDNA 2 NPU; OpenAI-compatible API. Runs Qwen3.8, Zyphra ZAYA1, ternary Bonsai.

스타
★ 5
포크
2
언어
C++
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

AMD Ryzen AI(Strix Halo)에서 로컬 LLM 추론을 돌리는 1bit-monster/engine의 최신 커밋(2026-11-07, 0f45221)이 모델 선택 라우팅을 측정하는 명령을 추가했다. Radeon iGPU의 HRX와 XDNA 2 NPU를 함께 쓰고 OpenAI 호환 API를 제공하는 엔진에, `1bit route --laya-models`에 `--eval`과 `--dump-encoder`가 붙었다.

두 옵션은 서버가 실제로 택하는 경로(크기 게이트 다음 Laya 판정)를 그대로 재현한다. `--eval`은 라벨이 붙은 상태 목록(CASES.jsonl)을 읽어 정확도, 클래스별 재현율과 정밀도, 혼동 행렬, 신뢰도, ECE(기대 보정 오차), 로그 손실, 판정 시간을 산출한다. 계산 코드는 `laya/eval.cpp`로 분리됐고, 체크포인트 없이도 검증되는 단위 테스트(`laya_eval_test`)와 실제 실행을 확인하는 `laya_eval_e2e.sh`가 함께 추가됐다.

`--dump-encoder`는 결정 헤드가 받는 입력을 상태별로 저장한다. 마지막 정규화 직후의 인코더 출력(h.f32), 마커 위치, qtype, 엔진이 계산한 로짓과 확률이 cases.jsonl로 떨어져 나오므로, 헤드만 미세조정하려면 인코더나 두 번째 토크나이저가 필요 없다. 새 경로는 스코어러의 `RawOutput::keep_encoder`를 켜야 동작하고, 기본 경로는 바뀌지 않았다.

다만 이 커밋은 기능을 추가한 것이지 라우팅 품질이 좋아졌다는 증거는 아니다. 커밋 메시지는 평가 산술이 체크포인트 없이 테스트되었다고 밝힐 뿐 실제 수치는 제시하지 않는다. 변경 규모는 추가 740줄, 삭제 3줄이고, 새 파일에는 Apache-2.0 헤더가 붙었다. 자신의 데이터로 경로를 재려면 이 평가 명령을 먼저 돌리는 쪽이 가깝다.