Devotd Github
新着推論・サービング

ardanlabs/kronk — Go 向けローカル推論 SDK とモデルサーバ

ardanlabs/kronk は、Go アプリケーションからローカルモデルを呼び出し、複数の互換 API として提供する SDK とモデルサーバである。

リポジトリ情報ardanlabs/kronk ↗

ardanlabs/kronk は、Go アプリケーションからローカルモデルを呼び出し、複数の互換 API として提供する SDK とモデルサーバである。

GitHub の説明: Go With Your Own Intelligence! Use Go for hardware accelerated local inference with llama.cpp, whisper.cpp, and stable-diffusion.cpp directly integrated into your Go applications. Kronk provides a high-level API and production ready model server.

スター
★ 854
フォーク
63
言語
Go
ライセンス
Apache-2.0
最新リリース
v1.33.0
原文を見る ↗GitHub で見る ↗

ardanlabs/kronk は、Go アプリケーションでローカル推論を利用するための SDK とモデルサーバである。最新リリースタグは v1.33.0 である。llama.cpp ベースのテキスト・ビジョン・埋め込み・リランキングモデルと、whisper.cpp ベースの音声認識機能を Go API で提供する。提供された情報には、v1.33.0 で変更された具体的な項目は記載されていない。

モデルサーバは、OpenAI 互換のチャット・Responses・埋め込み・リランキング・音声認識 API と、Anthropic 互換のメッセージ API を提供する。互換 API を利用すれば、各形式に合わせたリクエストでローカルモデルを呼び出すことができる。モデル管理用のブラウザ画面に加え、認証、リクエスト制限、可観測性の機能も含む。したがって Kronk のスコープはモデル呼び出しライブラリにとどまらず、Go アプリケーションに接続するサーバ構成まで及ぶ。リポジトリの主要言語は Go で、ライセンスは Apache-2.0 である。

画像生成のパスは分けて見る必要がある。リポジトリの説明では stable-diffusion.cpp に言及しているが、README の要約によれば Malina 画像生成 SDK はまだサーバに統合されていない。提供された情報だけでは、その統合状況 besides 画像生成機能のサーバサポート範囲を確認することはできない。また v1.33.0 の変更履歴も示されていないため、このバージョンの具体的な改善を評価する根拠は不足している。