ggml-org/llama.cpp v0.7.0 是一个用 C 和 C++ 在本地进行大语言模型推理的引擎版本。本次版本将服务器端的聊天会话 API 重构为基于 common_chat_session，并新增了针对驻留在主机内存中的专家的 GPU 缓存。默认端口从 8080 改为 9931。
聊天会话变更包含 feed 和 finish。GPU 缓存面向主机内存中的专家，README 说明该功能使解码速度最高提升 2.2 倍。本次发布还加入了 LiliCorr 推测解码，以及对 K2 Horizon 和 EmbeddingGemma-2 的支持。换言之，这是一个服务器 API、推理路径与模型支持同步变更的版本。项目采用 MIT 许可证，主要语言是 C++。ggml 算子文档与 lib llama 公开 API 单独维护。
不过，“最高 2.2 倍”这一数值的测量条件并未在所提供的信息中说明，因此不能视为适用于所有模型或环境的性能。如果你使用服务器聊天会话 API，那么重构后的接口才是本次变更的核心。判断本次发布时，与其依据性能数值，不如依据 API 与推理功能实际变更的范围更为妥当。