nvidia/flare-local-inference 是一个在 NVIDIA 图形设备上直接运行模型的本地推理服务器仓库。它被设计用于长时间保持的对话、编码代理以及反复的工具调用。该仓库创建于 2026 年 10 月 20 日，由于没有带标签的公开发行版，因此没有版本号。
其结构分为两个阶段。基于 Python 的准备阶段使用 PyTorch、Transformers 和 FlashInfer/b12x 读取模型、调整内核，捕获执行图（模型计算顺序）后生成模型执行文件。真正的服务由无需 Python 即可运行的 Rust 运行时负责。也就是说，准备模型的一侧保留在 Python 环境中，而处理请求的一侧则不依赖 Python。仓库中包含各模型的实现与缓存、调度器、分布式处理代码，以及运行时和模型准备的测试。它以 SM120 和 SM121 图形处理设备为目标，并同时处理对话状态与重复状态，从而保留续写、分支和恢复。它采用 Apache-2.0 许可证，主语言标注为 Python，星标数为 139。
不过，其目标仅限于选定的 NVIDIA 图形设备，并且没有给出性能数值或基准测试。仓库的测试也仅限于运行时和模型准备阶段，且没有公开发行版，因此尚不存在可作为验证基准的版本。研究记录中的评分为新鲜度 9.0、技术 9.0、质量 8.0、势头 9.7——这是阅读来源后给出的评价，而非独立测量。在出现性能对比资料之前，很难判断这个服务器在现有本地推理环境中能替代什么。