Devotd Github
新发现推理与服务

pelloran-inc/tritify v0.0.1 — 整数运算推理引擎

介绍 pelloran-inc/tritify 的 v0.0.1 版本,以及为语言模型和图像分割模型推理提供可复现性的整数运算设计。

仓库信息pelloran-inc/tritify ↗

介绍 pelloran-inc/tritify 的 v0.0.1 版本,以及为语言模型和图像分割模型推理提供可复现性的整数运算设计。

GitHub 项目说明: tritify — exact-integer, deterministic LLM/SAM inference engine (Apache-2.0)

星标
★ 4
复刻
0
语言
Rust
许可证
Apache-2.0
最新版本
v0.0.1
查看原始来源 ↗在 GitHub 查看 ↗

pelloran-inc/tritify 是一个以整数运算执行语言模型和图像分割模型推理的 Rust 引擎。最新版本是 v0.0.1。所提供的资料没有单独列出这一版本有哪些更新。README 描述了这样一种设计:在相同配置下,运行结果的哈希在设备之间也保持一致。许可证是 Apache-2.0。

该引擎涵盖的范围包括语言模型、混合专家模型(MoE)以及 SAM 2.1 图像路径的前向计算。浮点运算可能因加法顺序或各平台数学库的舍入差异,导致不同设备上的结果比特不同。tritify 用整数运算计算推理路径以减少这类差异,目标是让相同配置下的输出字节在多次运行和不同设备之间保持一致。README 说明每个运算都会与浮点基准路径比较,若差异超过允许容差,检查就不会通过。文档还指引了工作区测试和命令行示例。

此说明涉及仓库所提出的设计与验证方式。所提供的信息中没有将性能或准确度与其他推理引擎比较的结果。因此可以把它看作一个以整数运算追求输出可复现性的项目,但在实际任务中的速度或准确度优势,仅凭这些资料无法判断。