Devotd Github
新发现推理与服务

eagle-hq/eagle-4 v0.1.3 — EAGLE-4 官方推理代码

eagle-hq/eagle-4 是推测性解码工具 EAGLE-4 的官方推理代码,提供用于将其接入多种服务引擎的库以及运行指南。

仓库信息eagle-hq/eagle-4 ↗

eagle-hq/eagle-4 是推测性解码工具 EAGLE-4 的官方推理代码,提供用于将其接入多种服务引擎的库以及运行指南。

GitHub 项目说明: Official Inference Code of EAGLE-4

星标
★ 1K
复刻
35
语言
Python
许可证
NOASSERTION
最新版本
v0.1.3
查看原始来源 ↗在 GitHub 查看 ↗

eagle-hq/eagle-4 的最新版本为 v0.1.3。该仓库是 EAGLE-4 的官方推理代码。EAGLE-4 是一种推测性解码工具,会根据实测的执行成本调整推测执行的深度和树大小。本次发布中变更的具体条目在所提供的仓库信息中未提及。

该仓库提供将 EAGLE-4 接入 SGLang、vLLM、TokenSpeed 的库,以及安装与运行指南。它会根据批大小、硬件和工作负载调整推测树,并公开引擎插件、成本修正和内核路径。其要点在于,这是一份把研究思路接入服务引擎的实现。README 报告称,在 Qwen3.8-27B 上保持相同答案的同时,生成速度最高可达 3.4 倍。介绍 EAGLE-4 发布的资料中还包括它作为草稿模型快于 DFlash2 和 DSpark 的说法。

不过,最高达 3.4 倍这一数值仅限于 README 中写明的测量环境。相较 DFlash2 和 DSpark 的速度同样只是介绍资料中的说法,未提供依据说明在其他条件下仍能保持优势。许可证标记为 NOASSERTION,因此仅凭这些信息无法确认使用条款。v0.1.3 的具体变更内容也未给出,因此难以确定该发布究竟改动了什么。