opennmt/ctranslate2 是一个用于 Transformer 模型推理的 C++ 与 Python 库。GitHub 仓库记录的最新发行版是 v4.8.3。不过所提供的资料中没有该版本变更了哪些内容,因此无法确认具体的修正事项。该项目专注于以优化格式在 CPU 和 GPU 上本地运行多种 Transformer 架构。
在推理过程中,它通过权重量化、层融合和批次重排来提升运行速度并减少内存占用。支持范围涵盖编码器-解码器、仅解码器和仅编码器模型。它还提供面向 OpenNMT-py、OpenNMT-tf、Fairseq、Marian、OPUS-MT 和 Transformers 的转换器,可以把兼容的模型转换为优化格式。因此,与其说是通用训练框架,它更接近一个把来自多种来源的 Transformer 模型调整为适合推理运行的库。仓库许可证为 MIT。
README 中说明了速度提升与内存节省的功能,但所提供的资料中没有性能测量结果,也没有 v4.8.3 的变更记录。因此,仅凭这些资料难以判断本次发行的具体改进点,以及它在实际环境中的收益。