Devotd Github
新着推論・サービング

jlt-commons/lev v0.3.4 — エンコーダーと信頼度ゲートを使う意思決定エンジン

lev は、型付き質問に校正済みの確率で答え、確信が低いときは GGUF モデルへ引き渡す Clojure ベースの System 1 意思決定エンジンである。

リポジトリ情報jlt-commons/lev ↗

lev は、型付き質問に校正済みの確率で答え、確信が低いときは GGUF モデルへ引き渡す Clojure ベースの System 1 意思決定エンジンである。

GitHub の説明: Jolt implementation of Laya non-autoregressive System 1 decision engine

スター
★ 29
フォーク
1
言語
Clojure
ライセンス
Apache-2.0
最新リリース
v0.3.4
原文を見る ↗GitHub で見る ↗

jlt-commons/lev は、状態に関する型付き質問に校正済みの確率で答える System 1 の意思決定エンジンである。リポジトリに記載されている最新リリースは v0.3.4 で、提供された情報にはこのバージョンで何が変更されたかについての具体的な記載はない。lev は、Chez Scheme の上に Clojure を提供する jolt 上で動作する。

中核となるのは、高速なエンコーダーがまず回答し、確信が低い場合のみ GGUF thinker へ引き渡すという構造である。API の背後には ModernBERT-large と mmBERT-base のエンコーダー、llama.cpp 経由で利用する GGUF チャットモデル、Clef、TinyDecide がある。Laya のエンコーダーチェックポイントは、2 つのエンコーダーに決定ヘッダーを載せた重みである。リクエストでモデルを指定したり、内容に応じてエンコーダーへルーティングしたりでき、1 回の呼び出しの質問は 1 回のフォワードパスにまとめられる。確率を校正し、必要な場合にのみ確率ベースの推論を許可する設計である。公開されている比較では、AG News では 97.5% で優位だが、SST-5 では 27.5% で生成モデルに後れを取った。競合モデルの von-1.0 と localjev の数値も併せて公開されている。

ただし、パフォーマンスの数値はいずれも 10 コアの M シリーズ製ノート PC 1 台での自己計測によるものである。エンコーダーチェックポイントの重みは外部からダウンロードする必要があるため、再現には別途の準備を要する。したがって公開されている比較は設計の参考資料として見ることができるものの、他の環境でも同じ性能が出ると断定するのは困難である。