Devotd Github
新发现推理与服务

ishekkhal/bitrun v0.2.0-beta — 为 1 位模型新增终端 Cockpit

ishekkhal/bitrun 发布 v0.2.0-beta,为 1 位、1.58 位三进制模型新增了终端仪表盘 Cockpit 以及实时处理量和功耗显示。

仓库信息ishekkhal/bitrun ↗

ishekkhal/bitrun 发布 v0.2.0-beta,为 1 位、1.58 位三进制模型新增了终端仪表盘 Cockpit 以及实时处理量和功耗显示。

GitHub 项目说明: Zero-compile runner and terminal Cockpit for 1-bit / 1.58-bit ternary LLMs on CPU. Real-time wattage telemetry, 70+ t/s on laptops, and 8B model support (macOS, Windows, Linux)

星标
★ 6
复刻
2
语言
Go
许可证
MIT
最新版本
v0.2.0-beta
查看原始来源 ↗在 GitHub 查看 ↗

ishekkhal/bitrun 发布了 v0.2.0-beta。本次发布包含在 2026 年 10 月 15 日的 GitHub 提交 0af499c 中,其核心内容是为在 CPU 上运行 1 位、1.58 位三进制权重(取值只有 -1、0、1 三种的权重)模型的运行器加装全屏终端仪表盘 Cockpit。改动规模为 21 个文件,新增 2,760 行、删除 156 行。

Cockpit 是用 Go 和 Bubble Tea 构建的终端 UI。左侧窗格保留多个轮次的对话记录,右侧窗格实时显示生成速度、提示词处理速度、首个 token 延迟(TTFT)、上下文使用量、P 核与 E 核各自的占用率、SIMD 引擎名称、封装功耗、每 token 能耗、会话累计能耗以及电源连接状态。把推理与功耗测量界面合到一处正是该工具的核心。

提交信息中提到的“现代 1 位引擎”以一个 1,158 行的补丁文件 patches/0004-bitrun-modern-engine-b1395.patch 形式引入,在构建时应用。macOS 构建脚本为本次新增,Linux 与 Windows 的构建、打包、安装脚本也一并做了修改。按 README 徽章所示,许可证为 MIT;.gitignore 中此前排除的 docs/ 以及个人会话记录(progress.md、memory.md)被移除。

依据有限。README 中的 Cockpit 截图是以 bonsai-1.7b 为基准、显示生成速度 73.7 tok/s、封装功耗 11.7 W、每 token 能耗 0.1587 J 的 UI 示例,而本次提交删除了原有的 Apple Silicon、Windows、Linux 基准测试表。仓库说明中宣称的 70+ t/s 与 8B 模型支持,也无法仅凭此次改动确认测试条件。v0.2.0-beta 对想亲眼看看本地 CPU 推理的人来说是款值得一看的工具,但若要以其性能做判断,还需另行补齐缺失的基准测试。