opennmt/ctranslate2 は Transformer モデルの推論のための C++・Python ライブラリである。GitHub リポジトリに記録された最新リリースは v4.8.3 である。ただし、提供された資料にはこのバージョンで変更された内容が示されておらず、具体的な修正事項は確認できない。このプロジェクトは、複数の Transformer アーキテクチャを最適化形式で CPU と GPU にローカル実行することを重点とする。
推論過程では、重みの量子化、レイヤー融合、バッチの並べ替えを活用することで実行速度を高め、メモリ使用量を削減することを目標としている。対応範囲はエンコーダーデコーダー、デコーダー専用、エンコーダー専用モデルである。OpenNMT-py、OpenNMT-tf、Fairseq、Marian、OPUS-MT、Transformers 用ulaeのコンバーターも提供されており、対応モデルを最適化形式に変換できる。したがって汎用的な学習フレームワークというより、複数来源于 Transformer モデルを推論に適した形で実行するライブラリに近い。リポジトリのライセンスは MIT である。
README には速度向上とメモリ削減の機能が説明されているが、提供された資料には性能測定の結果も v4.8.3 の変更内容も存在しない。したがって、このリリースの具体的な改善点や実際の環境での利得は、資料のみからは判断しにくい。