Devotd Github
새 소식추론/서빙

intel-arc-pro-b70-inference-cookbook v1.11.0 — SC5 손실 표기

Intel Arc Pro B70용 LLM 추론 요리책이 2026년 11월 5일 1.11.0을 내며, 양자화 카탈로그의 SC5 항목에 손실 표기를 붙이고 README에 패리티 열 설명을 더했다.

저장소 정보sergiiob/intel-arc-pro-b70-inference-cookbook ↗

Intel Arc Pro B70용 LLM 추론 요리책이 2026년 11월 5일 1.11.0을 내며, 양자화 카탈로그의 SC5 항목에 손실 표기를 붙이고 README에 패리티 열 설명을 더했다.

GitHub 설명: Open recipes, engine patches, and benchmark harnesses for LLM inference on Intel Arc Pro B60/B70 (Battlemage, Xe2). MoE 35B at 160 t/s decode / 7.5K t/s prefill single-stream, 27B at 50~ t/s decode / 1.7K t/s prefill single stream. vLLM XPU MTP unlocked. Muse Glimmer recipe added!!

스타
★ 179
포크
11
언어
Python
라이선스
MIT
최신 릴리스
v1.7.0
원문 보기 ↗GitHub에서 보기 ↗

sergiiob/intel-arc-pro-b70-inference-cookbook이 2026년 11월 5일 버전 1.11.0을 배포했다. Intel Arc Pro B60/B70(Xe2, Battlemage)에서 LLM 추론 레시피와 엔진 패치, 벤치마크 하네스를 모아둔 저장소이며, 이번 릴리스에서 바뀐 것은 양자화 카탈로그의 SC5 항목에 손실(lossy) 표기를 붙인 일과 README에 패리티(parity) 열의 설명을 더한 일이다.

이 저장소가 채우는 빈칸은 공개된 설정만으로는 재현되지 않는 부분을 레시피와 패치로 메우는 데 있다. README는 MoE 35B에서 단일 스트림 기준 디코드 160 t/s와 프리필 7.5K t/s를 제시하지만, 이는 저장소가 스스로 밝힌 수치이지 독립 시험 결과가 아니다. 카탈로그는 각 레시피가 무엇을 얼마나 빠르게 돌리는지뿐 아니라 출력이 기준과 얼마나 다른지도 함께 담는다. 패리티 열이 그 비교 자리이고, SC5는 변경 기록상 비트당 가중치(bpw) 5.00을 가리키는 표기다. 1.11.0은 이 열의 의미를 README에 설명하면서 SC5 행 241/329에 손실 표기를 남겼고, 같은 날 나온 1.10.0의 기록에는 Qwen3.8-27B SC5의 KL 값이 평범한 4.00bpw의 0.418배와 0.161배로 적혀 있다.

다만 1.11.0 자체에 새로 측정된 성능 수치는 없다. 매니페스트의 버전만 1.10.0에서 1.11.0으로 바뀐 자동화 배포 커밋이며(릴리스 PR #70), 실제 내용은 이슈 #69로 들어온 카탈로그와 README 수정이다. 241/329가 어떤 기준으로 세어졌는지, 패리티 열이 무엇과 무엇을 비교하는지가 커밋 설명에 없어서 표기만으로 손실의 크기를 재기는 어렵다. 손실 표기가 붙은 항목이 그만큼 많다는 사실은, Arc Pro B70에 35B나 27B급 모델을 올릴 계획이라면 해당 행의 패리티 값을 먼저 확인해야 할 이유를 만들 뿐, 성능 개선을 알려 주지는 않는다. 눈에 띄는 기능 추가라기보다 선택지를 좁혀 주는 표기 정리로 읽는 편이 맞다.