haochenglu/pi-attn

haochenglu/pi-attn は、演算順序を固定することで、バッチ処理やキャッシュを適用した状態でも結果の再現性を維持する Rust ベースの言語モデルサービングエンジンです。

GitHub の説明: Bitwise-reproducible LLM serving with every optimization on, at full speed. Paper, engine, kernels and results.

スター

★ 3

フォーク

0

言語

Rust

ライセンス

—