Devotd Github
새 소식추론/서빙

ishekkhal/bitrun v0.2.0-beta — 1비트 모델용 터미널 Cockpit 추가

ishekkhal/bitrun이 v0.2.0-beta를 내면서 1비트·1.58비트 삼진 모델용 터미널 대시보드 Cockpit과 실시간 처리량·전력 표시를 추가했다.

저장소 정보ishekkhal/bitrun ↗

ishekkhal/bitrun이 v0.2.0-beta를 내면서 1비트·1.58비트 삼진 모델용 터미널 대시보드 Cockpit과 실시간 처리량·전력 표시를 추가했다.

GitHub 설명: Zero-compile runner and terminal Cockpit for 1-bit / 1.58-bit ternary LLMs on CPU. Real-time wattage telemetry, 70+ t/s on laptops, and 8B model support (macOS, Windows, Linux)

스타
★ 6
포크
2
언어
Go
라이선스
MIT
최신 릴리스
v0.2.0-beta
원문 보기 ↗GitHub에서 보기 ↗

ishekkhal/bitrun이 v0.2.0-beta를 공개했다. 2026년 10월 15일 GitHub 커밋 0af499c에 담긴 이번 릴리스는, 1비트·1.58비트 삼진 가중치(값이 -1, 0, 1 세 가지뿐인 가중치) 모델을 CPU에서 돌리는 러너에 풀스크린 터미널 대시보드 Cockpit을 붙인 것이 핵심이다. 변경은 21개 파일에 2,760줄 추가와 156줄 삭제 규모다.

Cockpit은 Go와 Bubble Tea로 만든 터미널 UI다. 왼쪽 창에는 여러 턴의 대화 기록이 남고, 오른쪽 창에는 생성 속도, 프롬프트 처리 속도, 첫 토큰까지 걸린 시간(TTFT), 컨텍스트 사용량, P·E 코어별 점유율, SIMD 엔진 이름, 패키지 전원, 토큰당 에너지, 세션 누적 에너지와 전원 연결 상태가 실시간으로 표시된다. 추론과 전력 측정 화면이 한 곳에 합쳐진 점이 이 도구의 중심이다.

커밋 메시지가 지칭한 '모던 1비트 엔진'은 1,158줄짜리 패치 파일 patches/0004-bitrun-modern-engine-b1395.patch로 들어와 빌드 시 적용되는 형태다. macOS 빌드 스크립트는 새로 추가됐고 Linux·Windows 빌드·패키징·설치 스크립트도 함께 손보아졌다. README 배지 기준 라이선스는 MIT이며, .gitignore에서는 docs/와 개인 세션 기록(progress.md, memory.md)을 제외하던 항목이 제거됐다.

근거는 제한적이다. README에 실린 Cockpit 화면은 bonsai-1.7b 기준 생성 속도 73.7 tok/s, 패키지 전원 11.7 W, 토큰당 에너지 0.1587 J를 보여 주는 UI 예시이고, 이번 커밋에서 Apple Silicon·Windows·Linux용 기존 벤치마크 표는 삭제됐다. 저장소 설명이 밝히는 70+ t/s와 8B 모델 지원도 이번 변경만으로는 측정 조건을 확인할 수 없다. v0.2.0-beta는 로컬 CPU 추론을 눈으로 확인해 볼 사람에게 볼 만한 도구지만, 성능으로 판단하려면 빠진 벤치마크를 따로 채워야 한다.