google-ai-edge/litert-lm v0.19.0 では、GPU 制約デコード向けの logit マスキング、画像・音声入力をサポートする Web SDK、複数の音声モデルのサポートが追加された。このプロジェクトは大規模言語モデルをエッジデバイスに展開するための Google のオープンソース推論フレームワークである。変更内容は GitHub リポジトリの v0.19.0 リリースが出典である。今回の更新はデコード機能、入力パス、音声モデルのサポートをまとめて扱う。
logit マスキングは GPU 制約デコードに追加され、Web SDK は画像と音声入力をサポートする。さらに複数の音声モデルのサポートが加わり、リリースの変更範囲は Web 入力と音声モデルに及ぶ。これは推論フレームワークのバージョン番号を上げただけの変更ではなく、リリースサマリーに明記された機能と API 変更を併せて含むものである。ただし、各機能の具体的な動作条件や対応モデルの一覧は、提示されたリリース情報には示されていない。
今回のリリースには C API 1.0.0 の非互換な変更も含まれている。失敗しうる関数の戻り値の型とエクスポートされるシンボルが変更されるため、C API を利用している既存コードには互換性の影響が生じうる。性能の数値やモデル別のメモリ使用量は、提示された情報には示されていない。したがって、このバージョンで確認できるのは機能の追加と C API の変更であり、実際の性能改善の程度を判断する根拠はない。