ardanlabs/kronk

ardanlabs/kronk は、Go アプリケーションからローカルモデルを呼び出し、複数の互換 API として提供する SDK とモデルサーバである。

GitHub の説明: Go With Your Own Intelligence! Use Go for hardware accelerated local inference with llama.cpp, whisper.cpp, and stable-diffusion.cpp directly integrated into your Go applications. Kronk provides a high-level API and production ready model server.