ardanlabs/kronk 是用于在 Go 应用中进行本地推理的 SDK 与模型服务器。最新发布标签为 v1.33.0。它以 Go API 的形式提供基于 llama.cpp 的文本、视觉、嵌入与重排模型,以及基于 whisper.cpp 的语音识别功能。提供的信息中没有说明 v1.33.0 具体变更了哪些内容。
模型服务器提供 OpenAI 兼容的对话、响应、嵌入、重排与语音识别 API,以及 Anthropic 兼容的消息 API。使用这些兼容 API 时,可以按各自格式构造请求来调用本地模型。它还包含用于模型管理的浏览器界面,以及认证、请求限制与可观测性功能。因此,Kronk 的范围并不止于模型调用库,还覆盖了可与 Go 应用连接的服务器配置。该仓库的主要语言是 Go,许可证为 Apache-2.0。
图像生成路径需要单独看待。仓库说明提到 stable-diffusion.cpp,但据 README 摘要,Malina 图像生成 SDK 尚未集成到服务器中。仅凭提供的信息,除该集成状态之外,无法确认图像生成功能在服务器端的支持范围。此外,v1.33.0 的变更记录也未给出,因此没有足够依据来评估该版本的具体改进。