Devotd Github
新发现推理与服务

ardanlabs/kronk — 面向 Go 的本地推理 SDK 与模型服务器

ardanlabs/kronk 是一个 SDK 与模型服务器,可在 Go 应用中调用本地模型,并通过多种兼容 API 对外提供。

仓库信息ardanlabs/kronk ↗

ardanlabs/kronk 是一个 SDK 与模型服务器,可在 Go 应用中调用本地模型,并通过多种兼容 API 对外提供。

GitHub 项目说明: Go With Your Own Intelligence! Use Go for hardware accelerated local inference with llama.cpp, whisper.cpp, and stable-diffusion.cpp directly integrated into your Go applications. Kronk provides a high-level API and production ready model server.

星标
★ 854
复刻
63
语言
Go
许可证
Apache-2.0
最新版本
v1.33.0
查看原始来源 ↗在 GitHub 查看 ↗

ardanlabs/kronk 是用于在 Go 应用中进行本地推理的 SDK 与模型服务器。最新发布标签为 v1.33.0。它以 Go API 的形式提供基于 llama.cpp 的文本、视觉、嵌入与重排模型,以及基于 whisper.cpp 的语音识别功能。提供的信息中没有说明 v1.33.0 具体变更了哪些内容。

模型服务器提供 OpenAI 兼容的对话、响应、嵌入、重排与语音识别 API,以及 Anthropic 兼容的消息 API。使用这些兼容 API 时,可以按各自格式构造请求来调用本地模型。它还包含用于模型管理的浏览器界面,以及认证、请求限制与可观测性功能。因此,Kronk 的范围并不止于模型调用库,还覆盖了可与 Go 应用连接的服务器配置。该仓库的主要语言是 Go,许可证为 Apache-2.0。

图像生成路径需要单独看待。仓库说明提到 stable-diffusion.cpp,但据 README 摘要,Malina 图像生成 SDK 尚未集成到服务器中。仅凭提供的信息,除该集成状态之外,无法确认图像生成功能在服务器端的支持范围。此外,v1.33.0 的变更记录也未给出,因此没有足够依据来评估该版本的具体改进。