haochenglu/pi-attn

haochenglu/pi-attn 是一个基于 Rust 的语言模型服务引擎，通过固定运算顺序，在批处理和缓存的情况下也能保持结果的可复现性。

GitHub 项目说明: Bitwise-reproducible LLM serving with every optimization on, at full speed. Paper, engine, kernels and results.

星标

★ 3

复刻

0

语言

Rust

许可证

—