Devotd Github
新着推論・サービング

prabanta-dev/janas — 8ビットKVキャッシュ条件を揃えた llama.cpp 比較

janasの最新コミットは、長コンテキストの比較表をllama.cppと同じ8ビットKVキャッシュ条件で再測定した結果をもとに、3つのドキュメントを更新した。

リポジトリ情報prabanta-dev/janas ↗

janasの最新コミットは、長コンテキストの比較表をllama.cppと同じ8ビットKVキャッシュ条件で再測定した結果をもとに、3つのドキュメントを更新した。

GitHub の説明: 37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU.

スター
★ 469
フォーク
37
言語
C
ライセンス
GPL-3.0
最新リリース
v2026.10.27
原文を見る ↗GitHub で見る ↗

prabanta-dev/janasは純粋なCで書かれた推論エンジンで、メモリより大きいLLMをCPUやGPUで動かすことを目指している。このリポジトリの最新コミット f085859(2026-10-27、タイトルは「Release 2026-10-27 (4)」)はコードではなくドキュメント3つだけを変更したコミットである。README.mdとリリース版のdist/README.md、dist/README-windows.mdで19行を追加し、19行を削除している。変更された内容は長コンテキストの比較表だ。キーと値を8ビットで保持するキャッシュ(KV cache)を両側ともq8_0に揃えてllama.cppを再測定した。8,192トークンでJanas-LLMは回答を18.2 tok/sで書き、74 tok/sでプロンプトを読んだ。llama.cppはそれぞれ4.9 tok/sと20 tok/sだった。

この変更の要点は比較条件を揃えたことである。以前の表ではJanas-LLMのみが8ビットキャッシュを使い、llama.cppはデフォルトの16ビットを使っていた。今回はllama.cppにも -ctk q8_0 -ctv q8_0 を指定し、q8_0のキャッシュ値に必要なflash attention(-fa 1)を有効にして再測定した。条件を揃えたことで差は縮まったが、ゼロにはならなかった。1,024トークンでは書き込みが27.6対12.1 tok/sで2.3倍、8,192トークンでは18.2対4.9 tok/sで3.7倍だ。16,384トークンではllama.cppが30分以内にプロンプトを読み終えられず、書き込みの数値を出すことができず、読み取りも9.1 tok/s未満としか表示されなかった。32,000トークンはJanas-LLMのみで測定された(読み取り35 tok/s、書き込み10.7 tok/s)。llama.cppの16ビットデフォルトの結果は別途残した。1,024~16,384トークンで読み取りは67·55·44·31 tok/s、書き込みは12.5·7.7·4.6·2.2 tok/sである。

ただし根拠は狭い。両エンジンともCPUのみを使用し(12スレッド)、同じQwen3-4B Q4_K_Mファイルと同じトークン(英語のウィキペディア文書、Cのソースコード、伊大利語のプロース)を使ったが、測定は毎回1回ずつで、各実行には30分の上限があった。16,384トークンでのllama.cppの書き込みと32,000トークンの比較は上限のため空欄になった。Intel NPUやGPU、Gemma 4、janas-nsmを説明する段落とツールは今回のパッチでは触られていない。エンジンコードではなく数値のドキュメントのみを変更したコミットであるため、これ自体が実行性能の改善を意味しない。1台のノートPCの1モデル、1回の測定から得られた記録として読むのが妥当である。