Devotd Github
新发现推理与服务

carloslfu/slotstream — Q2 验证记录与直接读取候选的回滚

carloslfu/slotstream 于 2026 年 10 月 25 日的提交记录了 Q2 验证测量,并回滚了直接预测读取候选。

仓库信息carloslfu/slotstream ↗

carloslfu/slotstream 于 2026 年 10 月 25 日的提交记录了 Q2 验证测量,并回滚了直接预测读取候选。

GitHub 项目说明: Run a 105 GB AI model on a Mac that can't hold it. Slotstream streams Qwen3.8-Flash-Next (125B mixture of experts) from your SSD and caches the busiest experts in memory, so it runs on Macs with 16 to 64 GB. One native Swift binary on MLX and Metal, no Python, offline. Works with Claude Code, Codex and Ollama or OpenAI clients.

星标
★ 474
复刻
37
语言
Swift
许可证
MIT
最新版本
v0.2.29
查看原始来源 ↗在 GitHub 查看 ↗

carloslfu/slotstream 是一个项目,它从 SSD 流式加载 Qwen3.8-Flash-Next(125B 混合专家模型),从而在内存为 16~64GB 的 Mac 上运行。2026 年 10 月 25 日的提交 7578fb21e57ec362d19f5050922e0f583914935d 添加了 Q2 验证测量记录,并回滚了直接预测读取候选。变更内容包含在 CLAUDE.md 和 MEASUREMENTS.md 以及 db/ 下的测量与执行记录中。来源为该 GitHub 提交。

测量记录考察了在常规代码与散文类请求中读取预取(read-ahead)与 GPU 执行之间的交互。它在原生引擎和 Splash 引擎中分别使同一个逻辑专家失效,以比较部分未命中的情形,8 个条件均通过了干净运行基准。在开启逐次读取跟踪的比较中,观察到约 14ms 的间隔,但跟踪记录的开销因引擎而异。在两侧都关闭跟踪的对照组中,间隔降至约 8.4ms。read-ahead 对原生执行也有帮助,但当其与 GPU 工作重叠时的原因尚未确认。

直接读取候选是一个小改动,它让 Q2 预测数据无需中间副本即可从请求的位置读取。它保持了正确性,但减慢了完整请求的速度,而且由于记录的诊断中没有收益,因而被回滚。测量无法将延迟归因于 read-ahead 传输、命令传递或并发 I/O 三者中的任何一个。因此,重写共享读取调度器并不是已确认的解决方案,仅凭这份记录无法主张性能等同或更广泛的任务质量。