github.devotd.
发布推理与服务

ericlbuehler/mistral.rs v0.9.5 — 分隔符处理修正与支持新增

在 LLM 推理项目 ericlbuehler/mistral.rs 的 v0.9.5 中,工具调用与推理的分隔符处理,以及模型和 CUDA 支持都发生了变化。

仓库信息ericlbuehler/mistral.rs ↗

Fast, flexible LLM inference

星标
★ 7.8K
复刻
738
语言
Rust
许可证
MIT
最新版本
v0.9.5
查看原始来源 ↗在 GitHub 查看 ↗

ericlbuehler/mistral.rs 是一个主打快速、灵活 LLM 推理的项目。v0.9.5 版本修正了表示工具调用与推理的分隔符的适用条件。分隔符仅在以特殊令牌输出时才适用。本次变更将分隔符的处理范围限定为特殊令牌输出。仓库中公布的本次版本变更还包括新增对 Qwen3.8-Flash-Next 模型的支持和 CUDA 13.4 支持。

这三项变更覆盖了推理过程中所处理的输出以及运行时支持范围。分隔符条件修正是关于何时适用工具调用与推理分隔符的变更。Qwen3.8-Flash-Next 支持把该模型加入支持对象,CUDA 13.4 支持则把该 CUDA 版本加入支持对象。因此,v0.9.5 的核心是分隔符适用条件的调整以及两项支持的新增。所提供的信息中没有关于各项的详细实现或使用步骤。

版本信息中没有给出修改前后的行为示例,也没有性能对比。因此,无法在此判断分隔符条件的变更会给实际响应带来什么差异,也无法判断新的模型与 CUDA 支持覆盖到什么环境。本次版本中能够确认的只有变更的对象以及新增支持这一事实,超出该范围的效果无法由所给信息佐证。