lithos-ai/lithos-metal は、Apple の Silicon で大規模言語モデル（LLM）の推論とサービングを扱うエンジンである。GitHub リポジトリの最新リリースは v0.1.2 である。提供された記録には今回のバージョンで変更された具体的な項目が示されておらず、リリースの変更点は確認できない。リポジトリは Metal シェーダーをベースに層単位のメガカーネルを生成し、Apache-2.0 ライセンスで公開されている。
要点は複数の演算を層単位のカーネルにまとめ、GPU の中で生成過程を制御して実行オーバーヘッドを減らすことにある。DSpark の投機的デコーディングは、まず次のトークンの候補を生成し、実際の生成結果と照合する方式である。デフォルト設定では候補 7 個と基準トークン 1 個をまとめて検証する。サーバーは Chat Completions、Responses、Anthropic Messages、Ollama /api/chat の各形式に対応する。デフォルトのコンテキストは 32K で、1 回に 1 件ずつ生成する。
README によれば、実際の動作検証は 40 コア M5 Max 48GB で Qwen3.8-27B と Qwen3.6-35B-A3B の組み合わせにより行われた。提示された 128 トークンのコンテキストでの 168 tok/s と、32K コンテキストでの 127 tok/s は実測値ではなく、target-compute による投影値である。この投影は 8 パスあたり 6 トークンを受け付けるという前提を含み、ドラフティングや受理処理のコストは含んでいない。したがって終端間の性能比較として見ることはできない。35B ハイブリッド MoE の連携も実験段階であり、現在の数値は実使用時の性能を判断する根拠としては限定的である。