prabanta-dev/janas v2026.10.29.1 — 可执行文件与 GPU 诊断构建

prabanta-dev/janas 发布 v2026.10.29.1 补丁版，同时提供 Linux 和 Windows 可执行文件以及图形处理单元（GPU）诊断构建。

2026年10月30日v2026.10.29.1

prabanta-dev/janas 发布 v2026.10.29.1 补丁版，同时提供 Linux 和 Windows 可执行文件以及图形处理单元（GPU）诊断构建。

GitHub 项目说明: 37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU.

星标: ★ 477
复刻: 37
语言: C
许可证: GPL-3.0
最新版本: v2026.10.29.1

查看原始来源 ↗在 GitHub 查看 ↗

prabanta-dev/janas 是一个纯 C 项目，用于在 CPU 或 GPU 上运行大于内存容量的语言模型。据 GitHub 发布页面说明，v2026.10.29.1 是继前一天发布之后的补丁版本。本次发布包含 Linux 和 Windows 可执行文件，以及图形处理单元（GPU）诊断构建。变更内容汇总在仓库的 ChangeLog.md 中，但所提供的信息没有列出具体的修复项。

仓库说明主要展示运行超出内存容量模型的用途和性能对比。说明中给出的案例是，在一台 32 GB 笔记本上运行 48 GB 的 Qwen3-Next-80B，记录到 37 tok/s。不使用 draft 的情况为 24 tok/s，llama.cpp 则记为 2.8 tok/s。读取速度分别为 62 tok/s 和 16 tok/s。此外还说明，在以 Q4_K_M 格式对比的 13 个模型中均比 llama.cpp 更快。

这些数值和对比结果属于仓库说明中记录的主张。所提供的材料中没有测量条件或独立的验证结果。因此本次发布中可确认的变化是各平台可执行文件和 GPU 诊断构建的提供，而在单独证据得到确认之前，性能优势宜视为仓库的主张。