ggml-org/llama.cpp v0.7.0 は、C と C++ で大規模言語モデルをローカル推論するエンジンのリリースである。今回の版ではサーバー側のチャットセッション API を common_chat_session ベースにリファクタリングし、ホストメモリ上にあるエキスパート向けの GPU キャッシュを追加した。デフォルトポートは 8080 から 9931 に変更された。
チャットセッションの変更には feed と finish が含まれる。GPU キャッシュはホストメモリ上のエキスパートを対象とし、README はこの機能によりデコードが最大 2.2 倍速くなると説明している。今回のリリースでは LiliCorr 投機的デコーディングと、K2 Horizon および EmbeddingGemma-2 のサポートも追加された。つまりサーバー API、推論パス、モデルサポートが同時に変わるリリースである。プロジェクトのライセンスは MIT、主な言語は C++ である。ggml 演算ドキュメントと lib llama の公開 API は別に管理される。
ただし、最大 2.2 倍という数値の測定条件は提供された情報には示されていないため、すべてのモデルや環境に適用される性能とみなすことはできない。サーバーチャットセッション API を利用する場合、リファクタリングされたインターフェースが変更の核心である。今回のリリースを評価する truffには、性能の数値よりも API と推論機能の実質的な変更範囲にojo理论基础を置く方が妥当である。