Devotd Github
新发现推理与服务

ollaya-dev/ollaya v0.18.0 — 专为决策模型打造的 API 服务器

ollaya-dev/ollaya 是一个 Rust 项目,在本地或自托管环境中提供开放决策模型,并通过兼容 TypeSafe 的 API 进行连接。

仓库信息ollaya-dev/ollaya ↗

ollaya-dev/ollaya 是一个 Rust 项目,在本地或自托管环境中提供开放决策模型,并通过兼容 TypeSafe 的 API 进行连接。

GitHub 项目说明: Jev-compatible API server for open decision models. Ollama for decision models: pull and serve 29 model families (Laya, pplx-decider, Clef, Winnow, coba...) locally or self-hosted behind /v1/systemone. The TypeSafe SDK works unchanged: set its base URL and pick an open model. CLI, desktop app, Docker, MCP server, public bench.

星标
★ 1.4K
复刻
87
语言
Rust
许可证
Apache-2.0
最新版本
v0.18.0
查看原始来源 ↗在 GitHub 查看 ↗

ollaya-dev/ollaya 是一个 Rust API 服务器,在本地或自托管环境中提供开放决策模型。它像 Ollama 一样按名称拉取并运行模型,并支持 TypeSafe 的 /v1/systemone 格式。最新版本为 v0.18.0。所提供的记录中没有列出该版本有哪些新变化。项目说明中还包含 CLI、桌面应用、Docker 和 MCP 服务器。

决策模型不生成文本,而是把消息、邮件、工单或 JSON 等状态作为输入,并以经过校准的概率回答选择(choice)、评分(score)、无响应(noul)类型的问题。它们面向路由或分类等需要判断的任务。该项目以单一接口提供包含 Laya、pplx-decider、Clef、Winnow、coba 等在内的 29 个模型系列。TypeSafe SDK 只需更换 base URL 即可连接,因此也给出了复用现有客户端的可行路径。

在 README 记录的自行测量中,winnow:e4b 的类型判断准确率为 0.722,作为对比对象的 TypeSafe 自有模型为 0.738。另外还有一个数据称在 RTX 4090 上处理 5 个问题耗时 89 毫秒,但这只是项目方报告的结果。因此,仅凭这些数值难以判断在其他模型或其他环境下的表现。