Devotd Github
新着推論・サービング

ollaya-dev/ollaya v0.18.0 — 判断モデル専用の API サーバー

ollaya-dev/ollaya は、オープンの判断モデルをローカルまたはセルフホスト環境で提供し、TypeSafe 互換 API で接続する Rust プロジェクトです。

リポジトリ情報ollaya-dev/ollaya ↗

ollaya-dev/ollaya は、オープンの判断モデルをローカルまたはセルフホスト環境で提供し、TypeSafe 互換 API で接続する Rust プロジェクトです。

GitHub の説明: Jev-compatible API server for open decision models. Ollama for decision models: pull and serve 29 model families (Laya, pplx-decider, Clef, Winnow, coba...) locally or self-hosted behind /v1/systemone. The TypeSafe SDK works unchanged: set its base URL and pick an open model. CLI, desktop app, Docker, MCP server, public bench.

スター
★ 1.4K
フォーク
87
言語
Rust
ライセンス
Apache-2.0
最新リリース
v0.18.0
原文を見る ↗GitHub で見る ↗

ollaya-dev/ollaya は、オープンの判断モデルをローカルまたはセルフホスト環境で提供する Rust API サーバーです。Ollama のようにモデル=name で取得して実行し、TypeSafe の /v1/systemone 形式に対応しています。最新リリースは v0.18.0 です。提供された記録には、このバージョンでの新しい変更点は記載されていません。プロジェクトの説明には、CLI、デスクトップアプリ、Docker、MCP サーバーも含まれています。

判断モデルは、テキストを生成する代わりに、メッセージ・メール・チケット・JSON などの状態を入力として受け取り、選択(choice)、スコア(score)、無応答(noul)型の質問に較正された確率で答えます。ルーティングや分類のように判断が必要なタスク向けのモデルです。このプロジェクトは Laya、pplx-decider、Clef、Winnow、coba などを含む 29 のモデル系列を単一のインターフェースで提供します。TypeSafe SDK はベース URL を差し替えるだけで接続できるため、既存のクライアントを活用する経路も示しています。

README に記載された自己計測では、winnow:e4b のタイプ判定の精度は 0.722 で、比較対象として挙げられた TypeSafe 自前のモデルは 0.738 でした。RTX 4090 で 5 件の質問を処理するのに 89 ミリ秒 걸렸다는数値もありますが、これはプロジェクト側の報告によるものです。したがって、この数値だけから他のモデルや別の環境でのパフォーマンスを判断することは難しいです。