Devotd Github
新着推論・サービング

mattral/flashspec-asm — 推測デコーディング向け AVX2 CPU カーネル

mattral/flashspec-asm は、推測デコーディングにおける残存確率分布の計算のための任意の AVX2 CPU パスである。

リポジトリ情報mattral/flashspec-asm ↗

mattral/flashspec-asm は、推測デコーディングにおける残存確率分布の計算のための任意の AVX2 CPU パスである。

GitHub の説明: Hand-written x86-64 AVX2 assembly kernel for the residual distribution computation in speculative decoding

スター
★ 9
フォーク
0
言語
C
ライセンス
Apache-2.0
最新リリース
v0.1.2
原文を見る ↗GitHub で見る ↗

mattral/flashspec-asm は、推測デコーディングで残存確率分布を計算する x86-64 AVX2 アセンブリカーネルを提供するリポジトリだ。手書きのカーネルを任意の CPU アクセラレーション経路として分離しており、最新リリースは v0.1.2 である。FACTS にはこのリリースで変更された個別項目が別途示されていないため、バージョン以外の変更内容は特定できない。リポジトリの主要言語は C、ライセンスは Apache-2.0 だ。

この実装の役割は推測デコーディング全体を置き換えることではなく、残存分布の計算を CPU で処理する選択肢を提供することにある。リポジトリの説明によれば、GPU 向けの Triton カーネルとは異なり CPU パスを対象とし、ベクトル総和と正規化を AVX2 アセンブリで扱う。カーネルは C ABI バインディング層と Python バインディングに接続されており、任意に適用できる。したがって、グラフィックス処理ユニット経路やメインエンジンの制御機能を変える実装として読むべきではない。

リポジトリには正確性とパッケージングの試験、および C 基準実装と比較するベンチマーク資料が含まれている。ただし、性能の数値はリポジトリのベンチマーク記録だけでは独立に再現できないため、この資料だけで実際の環境での速度向上を断定することはできない。確認できるのは、特定の計算を AVX2 ベースの CPU 経路へ分離して接続した実装という点であり、性能評価には別途の検証が残っている。