magnitudedev/magnitude는 모델을 내려받을 때 해당 컴퓨터에 맞춰 커널을 튜닝하는 오픈소스 로컬 추론 엔진이다. 커널은 GPU나 CPU에서 모델 계산을 수행하는 코드다. 프로젝트는 Rust로 작성됐고 Apache-2.0 라이선스로 공개된다. Apple Silicon, NVIDIA, AMD와 CPU를 지원한다고 설명한다.
Magnitude의 핵심은 하드웨어에 맞는 실행 조합을 찾아 모델 추론에 쓰는 데 있다. README는 Ollama보다 평균 2배 이상 빠르다고 밝히며, 인기 로컬 모델 11개를 기준으로 Mac에서 프리필 1.32배·디코드 2.19배, NVIDIA에서 프리필 1.34배·디코드 2.17배를 제시한다. 프리필은 입력 문맥을 처리하는 단계이고, 디코드는 그 뒤 생성 토큰을 이어 가는 단계다. 튜닝 과정에서는 GPU 스레드 구성과 청크 크기, 데이터 선행 적재 거리를 바꾸며 출력이 달라지지 않는 조합을 고른다. README에 따르면 튜닝에 최대 1분을 쓴다.
추가로 모델별 추측 디코딩 드래프터와 양자화 KV 캐시를 제공한다. KV 캐시는 에이전트별 메모리를 절반으로 줄이고, 에이전트가 끝나면 메모리를 반환한다. 세션 간 프리픽스 캐시도 공유한다. CLI가 포함된 데스크톱 앱은 Pi·OpenCode·Hermes·Codex와 연결할 수 있다. 다만 속도 수치는 README가 제시한 결과이며, 제공된 자료만으로는 독립적인 재현 여부를 확인할 수 없다. 따라서 비교 수치는 Magnitude가 밝힌 성능으로 보는 편이 정확하다.