nvidia/flare-local-inference

NVIDIA グラフィックスデバイス上でモデルを直接動かすローカル推論サーバーのリポジトリで、Python の準備段階と Rust のサービングランタイムが分離した構成になっている。

スター

★ 139

フォーク

17

言語

Python

ライセンス

Apache-2.0