Devotd Github
新发现推理与服务

jlt-commons/lev v0.3.4 — 使用编码器与置信度门控的决策引擎

lev 是一个基于 Clojure 的 System 1 决策引擎,用校准后的概率回答类型化问题,并在置信度低时移交给 GGUF 模型。

仓库信息jlt-commons/lev ↗

lev 是一个基于 Clojure 的 System 1 决策引擎,用校准后的概率回答类型化问题,并在置信度低时移交给 GGUF 模型。

GitHub 项目说明: Jolt implementation of Laya non-autoregressive System 1 decision engine

星标
★ 29
复刻
1
语言
Clojure
许可证
Apache-2.0
最新版本
v0.3.4
查看原始来源 ↗在 GitHub 查看 ↗

jlt-commons/lev 是一个 System 1 决策引擎,用校准后的概率回答与状态有关的类型化问题。仓库中列出的最新版本是 v0.3.4,所提供的信息中没有关于这一版本具体变更的内容。lev 运行在 jolt 上,后者在 Chez Scheme 之上提供 Clojure。

核心结构是:快速编码器先作答,只有在置信度低时才移交给 GGUF thinker。API 背后是 ModernBERT-large 和 mmBERT-base 编码器、通过 llama.cpp 使用的 GGUF 聊天模型、Clef 和 TinyDecide。Laya 编码器检查点是在两个编码器之上加上决策头得到的权重。可以在请求中指定模型,或根据内容路由到编码器,一次调用中的问题会合并为一次前向传播。该设计会校准概率,并且只在必要时才允许基于概率的推理。在公开的对比中,它在 AG News 上以 97.5% 明显领先,而在 SST-5 上以 27.5% 落后于生成模型。竞品模型 von-1.0 和 localjev 的数值也一并公开。

不过,所有性能数据都是在同一台 10 核 M 系列笔记本上自行测得的结果。编码器检查点的权重需要从外部下载,因此复现还需要另行准备。所以公开的对比可以看作设计上的参考,但很难断言在其他环境下也能得到同样的性能。