Devotd Github
新着推論・サービング

enjoy-digital/trixium — FPGA での 3 進 LLM デコーディング

enjoy-digital/trixium は、PrismML の Bonsai モデルを FPGA カード上でデコーディングするオープンソースプロジェクトである。

リポジトリ情報enjoy-digital/trixium ↗

enjoy-digital/trixium は、PrismML の Bonsai モデルを FPGA カード上でデコーディングするオープンソースプロジェクトである。

GitHub の説明: Ternary LLMs on FPGA: PrismML's Bonsai models decoded entirely on the card, open source end to end with LiteX.

スター
★ 8
フォーク
4
言語
Python
ライセンス
BSD-2-Clause
原文を見る ↗GitHub で見る ↗

enjoy-digital/trixium は、PrismML の Bonsai 系 3 進 LLM を FPGA カード上でデコーディングするオープンソースプロジェクトである。リポジトリの説明によれば、ホストはトークナライズを担い、モデルのデコーディングはカード内で行われる。公開されているリリースバージョンはない。重みは -1·0·+1 で表現する。そのため通常の乗算の代わりに、加算・スキップ・減算で計算する構成になる。

このプロジェクトは、FPGA カード内のモデルデコーディングまで続くエンドツーエンドの実装を提供し、LiteX・LitePCIe・LiteDRAM・VexiiRiscv を独自の構成要素として扱う。対応対象は Ternary-Bonsai 1.7B・8B と Ternary-Bonsai-2 2B・4B・27B である。リポジトリの説明は前の 2 モデルを Qwen3 ベースとして、残りを DeltaNet とアテンションを組み合わせた Qwen3.5 ハイブリッドとして紹介している。メモリ帯域を中心とし、単一ユーザーチャットに合わせた設計である。カードがなくても Verilator で SoC 全体を実行できるため、ハードウェアなしで動作経路を確認できる。ライセンスは BSD-2-Clause、主言語は Python である。

リポジトリはカード別の処理速度の実測を公開しているが、その測定は 3 種類のカードを基準としている。そのため結果を他の FPGA カードの性能へ一般化するのは難しい。この資料は、特定のカード構成における実装を判断する根拠として見るのが適切である。