ekzhang/resin 并不是一个把大语言模型推理引擎作为成品交付的项目,而是一个汇集构成引擎之要素的实验性库。它使用 Python 编写,采用 Apache-2.0 许可证。README 明确说明它并非适合用于产品运营的软件。由于没有给出最新发布信息,无法介绍某个具体版本的变化。
配置的核心是 Rust 引擎与 Python 执行器。Rust 引擎负责将请求打包处理的批量调度、键值缓存和指标,Python 执行器则执行各模型的前向传播代码。键值缓存是保存推理过程中所用数据的功能。以 HTTP 方式提供服务是可选项,同时也支持 Prometheus 指标。因此,Resin 展现出的结构是把多个模型的执行代码与公共引擎功能连接起来。与其直接提供成品服务,它的重点更在于考察推理引擎的构成方式。
不过,FACTS 中并没有证据表明这一配置适合实际的服务运营。项目说明也明确指出它仍处于实验阶段,并且没有提供最新发布信息和性能评测数据。因此,与其把它看作稳定成熟的推理引擎,更准确的说法是:它是一组尚待验证的组件集合。