Devotd Github
새 소식추론/서빙

pelloran-inc/tritify v0.0.1 — 정수 연산 추론 엔진

pelloran-inc/tritify의 v0.0.1 릴리스와 언어·이미지 분할 모델 추론의 재현성을 위한 정수 연산 설계를 다룬다.

저장소 정보pelloran-inc/tritify ↗

pelloran-inc/tritify의 v0.0.1 릴리스와 언어·이미지 분할 모델 추론의 재현성을 위한 정수 연산 설계를 다룬다.

GitHub 설명: tritify — exact-integer, deterministic LLM/SAM inference engine (Apache-2.0)

스타
★ 4
포크
0
언어
Rust
라이선스
Apache-2.0
최신 릴리스
v0.0.1
원문 보기 ↗GitHub에서 보기 ↗

pelloran-inc/tritify는 언어 모델과 이미지 분할 모델의 추론을 정수 연산으로 수행하는 Rust 엔진이다. 최신 릴리스는 v0.0.1이다. 제공된 자료에는 이 버전에서 새로 바뀐 항목이 따로 적혀 있지 않다. README는 같은 설정에서 실행 결과의 해시가 기기 사이에도 일치하도록 하는 설계를 설명한다. 라이선스는 Apache-2.0이다.

이 엔진이 다루는 범위에는 언어 모델, 혼합 전문가 모델(MoE), SAM 2.1 이미지 경로의 순전파가 포함된다. 부동소수점 연산은 덧셈 순서나 플랫폼별 수학 라이브러리의 반올림 차이로 기기마다 결과 비트가 달라질 수 있다. tritify는 추론 경로를 정수 연산으로 계산해 이런 차이를 줄이고, 같은 설정의 출력 바이트를 실행과 기기 사이에서 일치시키는 것을 목표로 한다. README에 따르면 각 연산은 부동소수점 기준 경로와 비교하며, 차이가 허용 오차를 넘으면 검사를 통과시키지 않는다. 작업 공간 시험과 명령줄 예제도 안내한다.

이 설명은 저장소가 제시한 설계와 확인 방법에 관한 것이다. 제공된 정보에는 성능이나 정확도를 다른 추론 엔진과 비교한 결과가 없다. 따라서 정수 연산으로 출력의 재현성을 겨냥한 프로젝트로 볼 수 있지만, 실제 작업에서의 속도나 정확도 이점은 이 자료만으로 판단할 수 없다.