haochenglu/pi-attn

haochenglu/pi-attn은 연산 순서를 고정해 배치 처리와 캐시를 적용한 상태에서도 결과 재현성을 유지하려는 Rust 기반 언어 모델 서빙 엔진이다.

GitHub 설명: Bitwise-reproducible LLM serving with every optimization on, at full speed. Paper, engine, kernels and results.

스타

★ 3

포크

0

언어

Rust

라이선스

—