新发现
yuhai-china/ds4-spark — 在 Metal GPU 侧计算 Markov draft logits
ds4-spark 的最新提交把 Markov draft 用的输出头计算移到了 Metal GPU 侧,去掉了 CPU 侧的 Q8_0 反量化步骤。
ds4-spark 的最新提交把 Markov draft 用的输出头计算移到了 Metal GPU 侧,去掉了 CPU 侧的 Q8_0 反量化步骤。
GitHub 项目说明: DeepSeek V4 Flash DSpark local inference engine with Markov speculative decoding. Based on antirez/ds4.
在 GitHub 查看 ↗ds4-spark 的最新提交把 Markov draft 用的输出头计算移到了 Metal GPU 侧,去掉了 CPU 侧的 Q8_0 反量化步骤。
没有符合条件的动态。