Devotd Github
新发现推理与服务

enjoy-digital/trixium — FPGA 上的三进制 LLM 解码

enjoy-digital/trixium 是一个开源项目,在 FPGA 卡上解码 PrismML 的 Bonsai 模型。

仓库信息enjoy-digital/trixium ↗

enjoy-digital/trixium 是一个开源项目,在 FPGA 卡上解码 PrismML 的 Bonsai 模型。

GitHub 项目说明: Ternary LLMs on FPGA: PrismML's Bonsai models decoded entirely on the card, open source end to end with LiteX.

星标
★ 8
复刻
4
语言
Python
许可证
BSD-2-Clause
查看原始来源 ↗在 GitHub 查看 ↗

enjoy-digital/trixium 是一个开源项目,在 FPGA 卡上解码 PrismML 的 Bonsai 系列三进制 LLM。仓库说明称,主机负责分词,模型解码在卡内完成。目前没有公开的发布版本。权重以 -1·0·+1 表示,因此计算结构用加法、跳过和减法代替普通乘法。

该项目提供端到端实现,一直延伸到 FPGA 卡内的模型解码,并把 LiteX、LitePCIe、LiteDRAM、VexiiRiscv 作为自有组件处理。支持对象为 Ternary-Bonsai 1.7B、8B 以及 Ternary-Bonsai-2 2B、4B、27B。仓库说明把前两个模型介绍为基于 Qwen3,把其余介绍为将 DeltaNet 与注意力结合的 Qwen3.5 混合模型。设计以内存带宽为中心,面向单用户聊天。即使没有卡,也可以在 Verilator 中运行整个 SoC,从而在没有硬件的情况下查看执行路径。许可证为 BSD-2-Clause,主要语言是 Python。

仓库公开了按卡统计的处理速度实测结果,但这些测量以三种卡为基准。因此很难把结果推广到其他 FPGA 卡的性能上。这份资料更适合作为判断特定卡配置下实现情况的依据。