lithos-ai/lithos-metal 是一个在 Apple 芯片上处理大语言模型（LLM）推理与服务（serving）的引擎。该 GitHub 仓库的最新版本为 v0.1.2。已有记录没有列出本次版本中变更的具体条目，因此无法确认发布变更内容。该仓库基于 Metal 着色器生成逐层巨核（layer-wise megakernel），并以 Apache-2.0 许可证公开。
核心思路是把多个运算合并为逐层内核，并在 GPU 内部控制生成过程，以减少执行开销。DSpark 推测解码先产出下一个 token 的候选，再与实际生成结果比对。默认配置下会同时校验 7 个候选和 1 个参考 token。服务器支持 Chat Completions、Responses、Anthropic Messages 以及 Ollama /api/chat 格式。默认上下文为 32K，每次只生成一个请求。
据 README，实际运行验证是在 40 核 M5 Max 48GB 上，使用 Qwen3.8-27B 与 Qwen3.6-35B-A3B 组合进行的。所给出的 128 token 上下文下 168 tok/s 与 32K 上下文下 127 tok/s 并非直接测量值，而是基于目标算力（target-compute）的投影。该投影假设 8 次 pass每次接纳 6 个 token，且不包含草稿生成与接纳处理的成本。因此它不能被视为端到端的性能比较。35B 混合 MoE 的联调也仍处于实验阶段，所以当前数字作为判断实际使用性能的依据是有限的。