kekzl/imp v0.60.0 — 自研数学内核与嵌入、NVFP4 变更

kekzl/imp 于 2026 年 10 月 31 日发布了 v0.60.0。该项目是一款可在 NVIDIA RTX 50 或 RTX PRO 显卡上本地运行大型 AI 聊天模型的工具。本次版本对部分模型的长提示处理应用了自研数学内核。发布测试报告称，Gemma-4 长提示处理提升 6.0%，Qwen3-Coder 短提示处理提升 5.4%。同时还包含嵌入与 NVFP4 内存布局以及 API 的变更，并声明默认配置没有兼容性变更。

根据项目说明，单张 RTX 5090 上 Qwen3.8-27B 每秒可生成约 70 个词，比 vLLM 快 1.4 倍。它还表示可以运行比显卡显存大近四倍的模型。可以与为 ChatGPT 或 Claude 打造的应用配合使用，并且只需一条 Docker 命令即可启动。因此，这次发布是在本地模型运行环境中同时改进了提示处理、内存布局和 API 的更新。

不过，自研数学内核仅应用于部分模型，报告的提升数据是针对特定提示类型的发布测试结果。提供的发布摘要中没有写明测量条件或对比基准。API 变更的细节也没有出现在摘要中。结合默认配置没有兼容性变更这一说法，这些改进效果更适合在所适用的模型与提示范围内来判断。