github.devotd.
新着推論・サービング

incoai/splash 1.3.2 — Apple employee's向けのローカル推論エンジン

incoai/splash 1.3.2 は Apple 向けチップ上でモデルを実行するローカル推論エンジン。

リポジトリ情報incoai/splash ↗

A local inference engine for Apple silicon, built around the model.

スター
★ 1.5K
フォーク
147
言語
C++
ライセンス
Apache-2.0
最新リリース
1.3.2
原文を見る ↗GitHub で見る ↗

incoai/splash は Apple のチップ上で言語モデルを実行するローカル推論エンジンです。最新リリースは 1.3.2 で、提供された FACTS ではこのバージョンで変更された項目は挙げられていません。C++、Metal、Python で書かれており、ライセンスは Apache-2.0 です。

このエンジンは、1 台の Mac 上でコーディングエージェントと OpenAI/Anthropic 互換サーバーを動かすことを目的にしています。DFlash 2 の投機的デコードを既定とし、専用の Metal カーネルに加えて Apple Neural Engine を FFN 処理に活用します。27B モデルは既定の設定でこの経路を使います。KV ページの階層とメモリガバーナがモデルに応じてメモリを管理します。ビジョン、ツール呼び出し、内蔵チャットページにも対応し、キャッシュ済みプレフィクスの再利用と同時リクエストのまとめ処理を行います。

性能比較は、同一の Unsloth UD-Q4_K_M ファイルを M5 Pro と M3 Max で使用して llama.cpp と行ったプロジェクト独自のベンチマークです。ドキュメントには 27B モデルのトップ 1 トークン一致率も記載されていますが、第三者の再現はありません。比較は llama.cpp の既定設定を基準としているため、速度上の優位性を一般的な結果として見ることはできません。ベンチマークと回帰スクリプトは公開されており測定根拠を確認できますが、性能を判断するには独立した再現が必要です。