一个部署仓库，在 M5 Ultra 的 TensorFold Metal 引擎上运行 Ripple-65B-Preview 和 DFlash2 drafter。
一个部署仓库，在 M5 Ultra 的 TensorFold Metal 引擎上运行 Ripple-65B-Preview 和 DFlash2 drafter。
GitHub 项目说明: Ripple-65B-Preview (ricursiveAI's NVFP4 release + its DFlash2 drafter, as published) on one M5 Ultra with TensorFold's native Metal engine: OpenAI-compatible server, tool calls, structured output, prompt cache
bobclawblaw/ripple-65b-nvfp4-m5-ultra 是一个部署仓库，可在单台 Apple M5 Ultra 上运行 ricursiveAI 公开的 NVFP4 量化版 Ripple-65B-Preview 和 DFlash2 drafter。本次没有新版本发布；该仓库提供的是该配置所需的运行环境以及兼容 OpenAI 的服务器。该服务器支持工具调用、结构化输出、提示词缓存和多路流。
据仓库说明，注意力、嵌入和输出层保留为 16 位浮点数，多层部分则存储为 4 位。该配置把降低模型内存占用的量化方式与使用草稿模型的推测解码结合起来。执行引擎是 TensorFold 的原生 Metal 引擎。项目使用 Python 编写，采用 MIT 许可证。README 中包含 Mac 用的服务器设置、模型下载以及构建和运行步骤。
不过 README 说明，所需的引擎改动尚未包含在上游默认分支中，因此要使用单独的补丁。速度和准确性结果也是仓库基于特定设备和特定模型修订版本自行测量得到的结果。因此，这个仓库更接近于复现该配置的说明，其结果难以当作其他环境的性能依据。
ggml-org/llama.cpp b12199 阻止了无效 Unicode 字节混入工具调用参数的问题，并一并发布了各操作系统的可执行文件和证明材料。
llamatik/llamatik 是一个 MIT 许可证的 SDK，在 Kotlin Multiplatform 中提供设备端 AI 功能。
介绍在两台 DGX Spark 上通过 TensorFold 提供 DeepSeek-V4.1-Flash-1017 EXL3 的配置以及验证范围。
没有符合条件的动态。