bitexploder/fnfl-v100 は Tesla V100 GPU で Qwen Flash Next 3.8 を実行するために構築された C++ 推論エンジンです。llama.cpp を由来としており、リポジトリの説明ではコードは V100 に合わせて最初から書かれたと述べています。単一 GPU と複数 GPU の構成を対象としています。最新リリースに関する情報はありません。
このエンジンは汎用的な推論ツールというよりも、特定のモデルと GPU の組み合わせに焦点を当てています。リポジトリの説明によると、2 種類の量子化形式に対応し、混合専門家キャッシュと同時リクエスト処理の機能を提供します。混合専門家（Mixture of Experts）は複数の専門モデルのうち一部を選んで処理する構造であり、キャッシュは必要な専門家を保管して素早く再利用できるようにする方式です。画像入力にも対応し、他のユーザーの生成が進行している間に長いプロンプトを読み取る機能も含みます。ライセンスは MIT です。README にはビルドと実行の方法、バージョンごとの変更点、ハードウェア条件を明記した性能比較表があります。
性能比較表はリポジトリが公开した測定値であり、別途に再現・検証された結果ではありません。したがって、この表は当該リポジトリが提示した条件における参考資料として捉えるのが妥当です。確認できる範囲も Qwen Flash Next 3.8 と V100 に特化した機能の説明までです。他のモデルやハードウェアでも同じ結果を期待できる根拠は示されていません。