yamz-labs/kyojin は AMD Strix Halo（ROCm、gfx1151）をターゲットにした推論エンジンである。ExLlamaV3 の上に構築されており、128GB のミニ PC 1 台で 300B 級 MoE モデル動かすことを目指している。2026 年 11 月 1 日にマージされた 1.8.5 は「returning sessions, Strix Halo iGPU decode」を掲げ、2341 行を追加し 145 行を削除している。今回の版の軸はセッション復帰と iGPU デコードの 2 つである。
セッション復帰側の核心はリカレントキャッシュ（recurrent cache）の削除ポリシーである。新しい環境変数 EXL3_RC_ANCHOR_MAX のデフォルト値は 16384 で、2 のべき乗位置（2K·4K·8K·16K）にあるチェックポイントを、他のチェックポイントが残っている間、LRU（最近あまり使われていないものから置き換える）の対象から後ろへ退避させる。コードコメントは、この機構が長セッションがプロンプト末尾のチェックポイントを押し出し、同じシステムプロンプトを共有する圧縮セッションや新規セッションが K/V ページがキャッシュに残っていても 0 から再開していた問題を防ぐと説明している。prefix（前置き）復元には EXL3_PD_BULK が追加され、デフォルト値は CUDA で 1、ROCm で 0 である。ページを 1 つずつコピーする代わりに、pin 留めされた bulk copy 1 回で前置きをディスクから読み戻す方式だが、ROCm の統合メモリでは bulk copy のほうがむしろ遅いという説明も添えられている。サーバーが保持する n-gram follower 数を決める QWSPEC_NG_POOL のデフォルト値は 4 で、1 に下げると follower は 1 つだけになる。
デコード側は主にカーネルと実行パスの調整である。gdn.cu は通常の GDN 演算の状態アクセス形態が KDA と同じであることを利用し、EXL3_GDN_VSPLIT_GDN で v_split を 1 か 4 かを選べるようにした。コメントは 2 つの設定の出力が bit-identical であると明かしている。同じコメントは iGPU 実測として、48 x 512 B の状態行で帯域幅が 95 → 172 GB/s（1 row）、107 → 197 GB/s（履歴 5 rows）に増加し、カーネルは -45%、4K decode は -2.5%、5-row verify は -3.7% と記している。これに加え skinny_set_w2 バインディングの追加、skinny partials カーネルの 2 カラムまとめ（CPL=2）、HIP 専用 glue モジュール hip_glue.py、環境変数整理モジュール util/knobs.py、そして anchor・knobs・prefix cache・HIP glue・Triton dequant に関するテストファイルも 함께取り込まれた。
ただしこれらの数値はカーネルのコメントに残された開発者側の iGPU 実測値であり、独立したベンチマークや README の表は示されていない。CUDA と ROCm でデフォルト値が異なる項目がいくつかあるため、別の GPU 構成にそのまま当てはめて読むべき数字 아니다。1.8.5 は 1.8.4 の内容も含むマージリリースであり、対応モデルやライセンス変更の履歴は今回のコミット情報からは確認できない。AMD APU 1 台で巨大な MoE を動かしながらセッションを長く保持し続ける環境であれば確認する価値のある版だが、対応範囲は Strix Halo（gfx1151）に絞られている。