haochenglu/pi-attn は、バッチ処理、プレフィックスキャッシュ、チャンク分割を適用した状態でも結果を再現しようとする言語モデルサービングエンジンです。リポジトリの説明では、最適化を有効にした状態でのビット単位の再現性を目標とするとあります。最新のリリース情報がないため、特定バージョンのリリースや変更内容を指し示すことはできません。リポジトリ名とともに公開されたプロジェクト説明に基づく、検討に値する発見です。
ビット単位の再現性とは、同じ入力に対して計算結果がビット単位で一致する性質です。PI-Attn は浮動小数点演算の順序を固定し、バッチ処理やキャッシュが結果に影響しないように設計されています。同時に、演算を分割する方式が高速カーネルの形に合わせて構成されています。リポジトリには Rust 実行エンジンと注意（attention）演算カーネルがあり、学習器（トレーラー）の再現性検証ツールやサーバー互換性検査ツールも含まれています。論文、結果ファイル、自動評価スクリプトも合わせて提供され、性能および再現性の主張を検討するための資料が一か所にまとめられています。
ただし、公開されている情報には正式なリリースやライセンスが記載されていません。したがって、固定された配布バージョンや利用許可条件は確認できません。性能と再現性に関する判断も、リポジトリに含まれる論文・結果・評価ツールの範囲を超えることは困難です。導入前に該当資料と配布条件を確認すべき、初期段階のプロジェクトです。