johnfink8/sfnx

johnfink8/sfnx はモデルの演算を複数の PCIe グラフィックカードに分割する推論エンジンで、README には特定の V100 3枚構成での実行結果が公開されている。

GitHub の説明: CUDA engine that splits every layer of a production quality MoE LLM across three PCIe V100 cards delivering 382 tok/s on a used $1,800 box.

スター

★ 4

フォーク

0

言語

Python

ライセンス

MIT