Devotd Github
新着推論・サービング

eagle-hq/eagle-4 v0.1.3 — EAGLE-4 公式推論コード

eagle-hq/eagle-4 は、推測デコーディングツール EAGLE-4 の公式推論コードであり、複数のサービングエンジンに接続するためのライブラリと運用ガイドを提供します。

リポジトリ情報eagle-hq/eagle-4 ↗

eagle-hq/eagle-4 は、推測デコーディングツール EAGLE-4 の公式推論コードであり、複数のサービングエンジンに接続するためのライブラリと運用ガイドを提供します。

GitHub の説明: Official Inference Code of EAGLE-4

スター
★ 1K
フォーク
35
言語
Python
ライセンス
NOASSERTION
最新リリース
v0.1.3
原文を見る ↗GitHub で見る ↗

eagle-hq/eagle-4 の最新リリースは v0.1.3 です。このリポジトリは EAGLE-4 の公式推論コードです。EAGLE-4 は、計測された実行コストに応じて推測実行の深さとツリーサイズを調整する推測デコーディングツールです。このリリースで変更された個別の項目は、提供されたリポジトリ情報には記載されていません。

このリポジトリは、SGLang、vLLM、TokenSpeed に EAGLE-4 を接続するためのライブラリとインストール・運用ガイドを提供します。バッチサイズ、ハードウェア、処理量に応じて推測ツリーを調整し、エンジンプラグイン、コスト補正、カーネルパスも公開しています。重要なのは、研究アイデアをサービングエンジンに接続する実装であるという点です。README は Qwen3.8-27B において同じ回答を保ったまま最大 3.4 倍の生成速度を報告しています。EAGLE-4 の公開を紹介した資料には、DFlash2・DSpark より速いドラフトモデルであるという主張も含まれています。

ただし、最大 3.4 倍という値は README に記載された測定環境に限定されます。DFlash2・DSpark に対する速度も紹介された主張にとどまり、他の条件でも優位が維持されるとする根拠は示されていません。ライセンスは NOASSERTION と表示されているため、この情報だけでは利用条件を確認できません。v0.1.3 の個別変更内容も示されていないため、リリースが何を変更したのか特定するのは困難です。