Devotd Github
新着推論・サービング

pelloran-inc/tritify v0.0.1 — 整数演算推論エンジン

pelloran-inc/tritify の v0.0.1 リリースと、言語モデルおよび画像セグメンテーションモデルの推論を再現可能にする整数演算設計を扱う。

リポジトリ情報pelloran-inc/tritify ↗

pelloran-inc/tritify の v0.0.1 リリースと、言語モデルおよび画像セグメンテーションモデルの推論を再現可能にする整数演算設計を扱う。

GitHub の説明: tritify — exact-integer, deterministic LLM/SAM inference engine (Apache-2.0)

スター
★ 4
フォーク
0
言語
Rust
ライセンス
Apache-2.0
最新リリース
v0.0.1
原文を見る ↗GitHub で見る ↗

pelloran-inc/tritify は、言語モデルと画像セグメンテーションモデルの推論を整数演算で実行する Rust エンジンである。最新リリースは v0.0.1 だ。提供された資料には、このバージョンで新たに変更された項目が個別に記されていない。README は、同じ設定において実行結果のハッシュが端末間でも一致するよう設計されていることを説明している。ライセンスは Apache-2.0 である。

このエンジンが扱う範囲には、言語モデル、混合エキスパートモデル(MoE)、および SAM 2.1 の画像パスにおける順方向計算が含まれる。浮動小数点演算は、加算順序やプラットフォームごとの数学ライブラリの丸め差によって、端末ごとに結果のビットが異なる場合がある。tritify は推論経路を整数演算で計算してこの種の差を小さくし、同じ設定での出力バイトが実行間および端末間で一致することを目標とする。README によれば、各演算は浮動小数点基準パスと比較され、差が許容誤差を超えた場合は検査を通さない。ワークスペースのテストとコマンドライン例も案内している。

この説明は、リポジトリが提示した設計と確認方法に関するものである。提供された情報には、性能や精度を他の推論エンジンと比較した結果はない。したがって整数演算によって出力の再現性を狙ったプロジェクトとみなせるが、実際の作業における速度や精度上の利点は、この資料だけでは判断できない。