Devotd Github
新着推論・サービング

johnfink8/sfnx — PCIe V100 3枚対応の CUDA 推論エンジン

johnfink8/sfnx はモデルの演算を複数の PCIe グラフィックカードに分割する推論エンジンで、README には特定の V100 3枚構成での実行結果が公開されている。

リポジトリ情報johnfink8/sfnx ↗

johnfink8/sfnx はモデルの演算を複数の PCIe グラフィックカードに分割する推論エンジンで、README には特定の V100 3枚構成での実行結果が公開されている。

GitHub の説明: CUDA engine that splits every layer of a production quality MoE LLM across three PCIe V100 cards delivering 382 tok/s on a used $1,800 box.

スター
★ 4
フォーク
0
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

johnfink8/sfnx(sFNX)は、モデルの各層の演算を複数の PCIe グラフィックカードに分割する CUDA 推論エンジンである。リポジトリの説明によると、3枚の PCIe V100 で動作し、1つのリクエストが各カードのメモリを同時に読むように層を分割する。カード間の加算を直接実装することで、専用のカード間接続モジュールなしで PCIe 接続を利用できる。README はこの構成で毎秒 382 トークン(tok/s)を出すと述べている。

このプロジェクトは、複数のカードで MoE LLM を実行するための独立したエンジンとサービング層を提供する。OpenAI・Anthropic 互換のインターフェースも含む。リポジトリには画像処理部と設計・ベンチマーク・検証のドキュメントがあり、実装言語は Python、ライセンスは MIT である。README は特定の V100 構成におけるモデル実行と並行した対話処理の結果を公開している。したがって注目すべきは単一カード性能ではなく、PCIe で接続した複数カードにまたがる層の分割方式である。

ただし毎秒 382 トークンは、リポジトリが示す特定の V100 3枚構成での結果である。README は測定方法と適用範囲の限界を併せて説明しており、CUDA 環境、モデルファイル、実行設定が必要である。対応するグラフィックカードの世代と精度にも制約がある。他のカード構成やモデルで同じ結果が得られたという根拠は示されていないため、性能の数値は当該ハードウェアと測定範囲の範囲内で読むべきである。