flashml-org/freetoken v0.1.3 是一个用于在桌面上运行大型模型的 Python 本地推理引擎。其 README 说明，即使在游戏 PC 上，也能以对话速度驱动 290B 以上参数规模的 MoE 模型。它的目标是把 GPU、CPU、主机内存和互连整合为单一的推理平台。项目采用 Apache-2.0 许可证，仓库已获得 14509 个 star。
该引擎专注于在边缘硬件上服务模型，同时利用多种设备和内存资源。其 README 列出的核心功能包括：适应带宽的 CPU-GPU 协同执行策略（q*）、全层双缓冲 prefill 流式处理，以及全局 LRU expert 缓存。语义锚点检查点在编辑上下文（如工具调用或思考块）时会保留递归状态和 KV 缓存，从而避免重复计算。它还说明，无需重启引擎或重新加载权重，即可在 expert 缓存与 KV 内存之间重新分配 VRAM。它支持以 MXFP4、NVFP4、FP8 和 BF16 运行 DeepSeek-V4-Flash、Qwen3.6-35B-A3B 和 GLM-5.2，并提供兼容 Anthropic 与 OpenAI 的 API。它还介绍了 Windows 与 Linux 桌面应用、uv 与 pip 安装方式以及源码构建路径。
不过，README 并未给出单独的测试或基准数据。因此，仅凭“可在游戏 PC 上以对话速度运行”这一说法，很难比较其真实性能水平。功能与支持路径是具体的，但性能主张的依据无法用公开数据加以验证。