github.devotd.
新着推論・サービング

startluxlabs/startlux-decision v1.1.0 — 選択肢ごとの確率を出す意思決定モデル

startluxlabs/startlux-decision は、選択肢ごとに補正された確率を出力し、確信が低いときに短い推論を添える公開の意思決定モデル群だ。

リポジトリ情報startluxlabs/startlux-decision ↗

Open decision models from 0.8B to 27B: a calibrated probability for every option in one pass, and a short thought only when unsure. Engine for vLLM, llama.cpp and MLX.

スター
★ 660
フォーク
60
言語
Python
ライセンス
Apache-2.0
最新リリース
v1.1.0
原文を見る ↗GitHub で見る ↗

startluxlabs/startlux-decision は、選択肢ごとに補正された確率を一度の順方向パスで出力する公開の意思決定モデル群だ。モデルサイズは 0.8B から 27B までで、最新リリースは v1.1.0 である。リポジトリの説明と README は、長い回答を生成する代わりに確率を示すこと、AutoThink モデルが確信が低いときに短い推論を加えることを説明している。

質問は choice、yes·no、scale のように型を指定して入力する。Instant モデルはプロンプトで双方向アテンションを使い、答えを一度に出力する。AutoThink モデルは最高確率が既定値の 0.6 を超える場合は単一パスで答え、それ以外では短い推論を作ってから答えを読み直す。推論バックエンドとして vLLM、llama.cpp、MLX をサポートし、GGUF と MLX の 8 ビット・4 ビット重みを提供する。プロジェクトは Python で書かれ、Apache-2.0 ライセンスに従う。

README にある v1.1 時点の Decision Index 0.3 スコアは 27B AutoThink 73.37、27B Instant 72.83、9B AutoThink 70.45、9B Instant 69.96 である。同じ順序での DecisionPivot スコアは 86.9、75.4、59.9、47.5 だ。ただし README にはこのスコアの算出方法も再現手順も示されていない。したがってこれらの数値は、モデル間の性能を確定づける根拠というより、公開された評価結果にとどまるものとして読むのが妥当だ。