Devotd Github
새 소식추론/서빙

ollaya-dev/ollaya v0.18.0 — 결정 모델 전용 API 서버

ollaya-dev/ollaya는 오픈 결정 모델을 로컬이나 자체 호스팅 환경에서 제공하고 TypeSafe 호환 API로 연결하는 Rust 프로젝트다.

저장소 정보ollaya-dev/ollaya ↗

ollaya-dev/ollaya는 오픈 결정 모델을 로컬이나 자체 호스팅 환경에서 제공하고 TypeSafe 호환 API로 연결하는 Rust 프로젝트다.

GitHub 설명: Jev-compatible API server for open decision models. Ollama for decision models: pull and serve 29 model families (Laya, pplx-decider, Clef, Winnow, coba...) locally or self-hosted behind /v1/systemone. The TypeSafe SDK works unchanged: set its base URL and pick an open model. CLI, desktop app, Docker, MCP server, public bench.

스타
★ 1.4K
포크
87
언어
Rust
라이선스
Apache-2.0
최신 릴리스
v0.18.0
원문 보기 ↗GitHub에서 보기 ↗

ollaya-dev/ollaya는 오픈 결정 모델을 로컬이나 자체 호스팅 환경에서 제공하는 Rust API 서버다. Ollama처럼 모델을 이름으로 가져와 실행하며, TypeSafe의 /v1/systemone 형식을 지원한다. 최신 릴리스는 v0.18.0이다. 제공된 기록에는 이 버전에서 새로 바뀐 내용이 기재되어 있지 않다. 프로젝트 설명에는 CLI, 데스크톱 앱, Docker, MCP 서버도 포함되어 있다.

결정 모델은 텍스트를 생성하는 대신 메시지·이메일·티켓·JSON 같은 상태를 입력받아 선택(choice), 점수(score), 무응답(noul) 유형의 질문에 보정된 확률로 답한다. 라우팅이나 분류처럼 판단이 필요한 작업을 위한 모델이다. 프로젝트는 Laya, pplx-decider, Clef, Winnow, coba 등을 포함한 29개 모델 계열을 한 인터페이스로 제공한다. TypeSafe SDK는 베이스 URL을 바꾸는 방식으로 연결할 수 있어 기존 클라이언트의 활용 경로도 제시한다.

README에 기재된 자체 측정에서는 winnow:e4b의 타입 판단 정확도가 0.722였고, 비교 대상으로 든 TypeSafe 자체 모델은 0.738이었다. RTX 4090에서 5개 질문을 처리하는 데 89밀리초가 걸렸다는 수치도 있지만, 이는 프로젝트가 보고한 결과다. 따라서 이 수치만으로 다른 모델이나 환경에서의 성능을 판단하기는 어렵다.