github.devotd.
リリース推論・サービング

shawnshekari/strixite v0.4.0 — 8bit KV キャッシュをデフォルトに

shawnshekari/strixite v0.4.0 は 8bit KV キャッシュをデフォルトに切り替え、長年の会話におけるキャッシュの再読み込みと画像の繰り返しデコードの問題を修正した。

リポジトリ情報shawnshekari/strixite ↗

LLM inference engine written from scratch in HIP for AMD Strix Halo (gfx1151) and Qwen3.8-Flash-Next - ~50 tokens/s out to 492k context

スター
★ 61
フォーク
7
言語
C++
ライセンス
AGPL-3.0
最新リリース
v0.4.0
原文を見る ↗GitHub で見る ↗

shawnshekari/strixite v0.4.0 は、AMD Strix Halo(gfx1151) と Qwen3.8-Flash-Next 向け HIP 推論エンジンの更新だ。GitHub のリリース説明によると、今回のバージョンでは 8bit KV キャッシュがデフォルト引き上げられた。長い会話でプロンプトキャッシュが毎ターン会話を読み直していた問題と、同じ画像を繰り返しデコードしていた問題も修正された。

リリース説明では、512k コンテキストで 1 つの会話状態のメモリが 13.5 GiB から 8.3 GiB に減り、GPU バッファが 95.3 GiB から 91.9 GiB に減少したと述べている。プロンプトキャッシュに保存される会話は約 40% 小さくなる。同じ 20 枚の画像をデコードする時間は 1.76 秒から 0.07 秒に縮まった。プリフィルは 3% 速くなり、デコード速度は誤差の範囲で変わらないと説明されている。リポジトリの説明には、最大 492k コンテキストで毎秒約 50 トークンすると記載されている。

これらの数値と変更内容は GitHub の v0.4.0 リリース説明に記載されたものであり、提供された情報には測定環境も回答品質への影響も明記されていない。リポジトリの説明にある処理速度についても測定条件は示されていない。そのため、メモリと画像デコードの改善はリリースが報告した結果と読み取れるが、品質の変化や他の環境での性能については、この情報だけでは判断しにくい。

同じ分野の他のプロジェクト

ローカル推論エンジン ↗