lithos-ai/lithos-metal은 Apple 실리콘에서 대형 언어 모델(LLM)의 추론과 서빙을 처리하는 엔진이다. GitHub 저장소의 최신 릴리스는 v0.1.2다. 제공된 기록에는 이번 버전에서 바뀐 구체적인 항목이 나와 있지 않아, 릴리스 변경점은 확인할 수 없다. 저장소는 Metal 셰이더를 바탕으로 레이어 단위 메가커널을 생성하며 Apache-2.0 라이선스로 공개됐다.
핵심은 여러 연산을 레이어 단위 커널로 묶고, GPU 안에서 생성 과정을 제어해 실행 오버헤드를 줄이려는 구조다. DSpark 추측 디코딩은 다음 토큰 후보를 먼저 만들고 실제 생성 결과와 대조하는 방식이다. 기본 설정에서는 후보 7개와 기준 토큰 1개를 함께 검증한다. 서버는 Chat Completions, Responses, Anthropic Messages, Ollama /api/chat 형식을 지원한다. 기본 컨텍스트는 32K이며 한 번에 한 건씩 생성한다.
README에 따르면 실제 구동 검증은 40코어 M5 Max 48GB에서 Qwen3.8-27B와 Qwen3.6-35B-A3B 조합으로 진행됐다. 제시된 128토큰 컨텍스트 168 tok/s와 32K 컨텍스트 127 tok/s는 직접 측정값이 아니라 target-compute 투영치다. 투영에는 8회 패스당 6토큰을 수용한다는 가정이 있고, 드래프팅과 수용 처리 비용은 포함되지 않는다. 따라서 종단 간 성능 비교로 볼 수 없다. 35B 하이브리드 MoE 연동도 실험 단계여서, 현재 수치는 실제 사용 성능을 판단하는 근거로는 제한적이다.