l-forster/open-jet は、ローカルモデルを使うオフラインコーディングエージェントと独自の推論エンジンをまとめて提供する Python リポジトリです。最新リリースは v0.5.0 です。提供された資料にはこのバージョンの変更一覧がないため、追加や修正の内容は確認できません。24GB 以上のメモリを備えた NVIDIA RTX 30・40・50 シリーズで Qwen3.8-27B を独自の CUDA メガカーネルで実行し、他のモデルやグラフィックスカードでは llama-server にフォールバックします。
このリポジトリは汎用推論エンジンではなく、Qwen3.8-27B に合わせた CUDA カーネルで llama.cpp サーバーを置き換えようとする構成です。README に掲載された開発者自身の RTX 3090 での測定では、デコード速度は llama.cpp 比 1.53～1.93 倍、プロンプト処理速度は 1050-1140 tok/s から 1530-1600 tok/s へと示されています。デコードのたびに単一の持続カーネル起動で 4～5 個のドラフトトークンを検証する設計も含みます。コアライセンスは AGPL-3.0-only で、商用機能には別の条件があります。
性能数値は開発者が RTX 3090 で測定した単一セッションの結果であり、バッチ性能を示すものではなく、独立した検証も提示されていません。llama.cpp との比較では KL 発散は 0.0009、top の一致率は 99.08% で、出力は近いものの完全一致ではありません。対応範囲外では llama-server に切り替わるため、性能に関する主張は特定のモデルとグラフィックスカード的条件に限って読むべきです。