github.devotd.
リリース推論・サービング

nace-ai/kapitsa v0.1.38 — 計測データと UTF-8 応答の修正

nace-ai/kapitsa v0.1.38 は M1 Pro 16GB の計測データを含み、途中で切れた応答を有効な UTF-8 として返すように修正した。

リポジトリ情報nace-ai/kapitsa ↗

Blazing fast Apple Silicon optimized inference engine built for Qwen and Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai

スター
★ 129
フォーク
2
言語
C++
ライセンス
Apache-2.0
最新リリース
v0.1.38
原文を見る ↗GitHub で見る ↗

nace-ai/kapitsa が v0.1.38 を公開した。Apple Silicon に最適化された推論エンジンで、Qwen と Nemotron を対象とし、OpenAI と Anthropic API との互換性を持つ。今回のリリースには M1 Pro 16GB 環境の完全な計測表と Qwen3.5-4B の手順が含まれた。前の版で計測した Dory の処理速度の内容も掲載されている。応答が文字の途中で切れる場合に対応する修正も入った。今後はその場合に、不正な UTF-8 ではなく置換文字を含む有効な UTF-8 の応答を返す。

kapitsa は学習済みモデルを実行する推論エンジンだ。リポジトリの説明は Apple Silicon への最適化と Qwen・Nemotron へのサポートを強調し、OpenAI および Anthropic API との互換性も示している。今回の版の計測データは M1 Pro 16GB 環境の完全な表と Qwen3.5-4B の手順である。Dory の処理速度は今回の版で新しく計測した内容ではなく、前の版で計測した内容として紹介されている。そのため、リリースの要約だけでは個々の計測値や計測条件の詳細を確認できない。

UTF-8 の修正は、応答が文字の途中で途切れても有効なエンコードで返すようにした変更だ。ただし、提供された FACTS には計測表の数値も Dory の説明も含まれていない。したがって、この資料だけではモデル間の速度差や計測結果の意味を判断しにくい。性能比較を行うには、リリースに含まれる表と手順を直接確認する必要がある。