fronteagle739/streaming-llama-stack 是一个基于 llama.cpp 分支构建的 C 语言推理栈。README 说明了从 NVMe 流式读取权重、在 RTX 5090 的 32 GiB 显存中运行 483 GiB 级模型的配置。仓库描述也提到,面向利用高速 SSD 阵列的低内存系统的流式与分布式推理用途。本次介绍的内容是仓库 README 中给出的配置与功能;FACTS 中没有公开的正式发布版本。
该配置不把模型权重整体载入显存,而是从 NVMe 流式读取,以此处理大模型推理。README 中记录了用于处理提示词的流式预填充(prefill),以及面向 DeepSeek V4.1 Flash 的解码内核。同时还包含 OpenAI 兼容 API、MCP 工具和网页界面。它也说明了一种可选配置,可把预填充与解码任务分摊给 Mac Studio。因此,它更接近于把执行路径与调用方式一并打包的栈,而不是单个推理内核。许可证为 MIT,仓库语言标注为 C。
README 的性能表同时给出基于文本的测量结果与设备配置,并公开了网络连接和内存方面的限制。这是针对特定配置的记录,不能作为其他设备上会得到相同结果的依据。仓库创建于 2026-10-25,FACTS 中记录的星标数为 6。也没有登记正式发布版本。鉴于 README 将其描述为实验性配置,目前可确认的范围仅限所给出的执行路径与测量环境。