google-ai-edge/litert-lm v0.19.0 — GPU 约束解码与 Web SDK 新增

介绍 google-ai-edge/litert-lm v0.19.0 的 logit 掩码、支持图像与音频输入的 Web SDK、语音模型支持以及 C API 变更。

2026年10月31日v0.19.0

介绍 google-ai-edge/litert-lm v0.19.0 的 logit 掩码、支持图像与音频输入的 Web SDK、语音模型支持以及 C API 变更。

GitHub 项目说明: LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.

星标: ★ 6.8K
复刻: 773
语言: C++
许可证: Apache-2.0
最新版本: v0.19.0

查看原始来源 ↗在 GitHub 查看 ↗

google-ai-edge/litert-lm v0.19.0 新增了用于 GPU 约束解码的 logit 掩码、支持图像与音频输入的 Web SDK，并支持多个语音模型。该项目是 Google 用于将大语言模型部署到边缘设备的开源推理框架。这些改动的来源是 GitHub 仓库中的 v0.19.0 发行版。本次更新同时涵盖解码功能、输入路径和语音模型支持。

logit 掩码已加入 GPU 约束解码，Web SDK 支持图像和音频输入。再加上对多个语音模型的支持，本次发行的变更范围延伸至 Web 输入和语音模型。这并非只是推理框架的版本号提升，而是包含发行摘要中明确列出的功能和 API 变更。不过，各功能的具体生效条件以及受支持的模型列表在给定的发行信息中并未说明。

本次发行还包含 C API 1.0.0 的兼容性中断变更。由于可能失败的函数的返回类型和导出的符号会发生变化，使用 C API 的既有代码可能在兼容性上受到影响。给定的信息中没有性能数据，也没有各模型的内存占用。因此，这个版本可以确认的是功能新增和 C API 变更，并没有判断实际性能改进幅度的依据。