Devotd Github
새 소식추론/서빙

enjoy-digital/trixium — FPGA에서 3진 LLM 디코딩

enjoy-digital/trixium은 PrismML의 Bonsai 모델을 FPGA 카드에서 디코딩하는 오픈소스 프로젝트다.

저장소 정보enjoy-digital/trixium ↗

enjoy-digital/trixium은 PrismML의 Bonsai 모델을 FPGA 카드에서 디코딩하는 오픈소스 프로젝트다.

GitHub 설명: Ternary LLMs on FPGA: PrismML's Bonsai models decoded entirely on the card, open source end to end with LiteX.

스타
★ 8
포크
4
언어
Python
라이선스
BSD-2-Clause
원문 보기 ↗GitHub에서 보기 ↗

enjoy-digital/trixium은 PrismML의 Bonsai 계열 3진 LLM을 FPGA 카드에서 디코딩하는 오픈소스 프로젝트다. 저장소 설명에 따르면 호스트는 토큰화를 맡고, 모델의 디코딩은 카드 안에서 수행한다. 공개된 릴리스 버전은 없다. 가중치는 -1·0·+1로 표현한다. 따라서 일반적인 곱셈 대신 가산·건너뛰기·감산으로 계산하는 구조다.

이 프로젝트는 FPGA 카드 안에서 모델 디코딩까지 이어지는 종단간 구현을 제공하며, LiteX·LitePCIe·LiteDRAM·VexiiRiscv를 자체 구성 요소로 다룬다. 지원 대상은 Ternary-Bonsai 1.7B·8B와 Ternary-Bonsai-2 2B·4B·27B다. 저장소 설명은 앞의 두 모델을 Qwen3 기반으로, 나머지를 DeltaNet과 어텐션을 결합한 Qwen3.5 하이브리드로 소개한다. 메모리 대역폭을 중심에 두고 단일 사용자 채팅에 맞춘 설계다. 카드가 없어도 Verilator에서 전체 SoC를 실행할 수 있어 하드웨어 없이 동작 경로를 살펴볼 수 있다. 라이선스는 BSD-2-Clause이며 주 언어는 Python이다.

저장소는 카드별 처리 속도 실측을 공개하지만, 그 측정은 카드 세 종류를 기준으로 한다. 따라서 결과를 다른 FPGA 카드의 성능으로 일반화하기는 어렵다. 이 자료는 특정 카드 구성에서의 구현을 판단하는 근거로 보는 편이 적절하다.