github.devotd.
新发现推理与服务

opennmt/ctranslate2 v4.8.3 — 面向 CPU·GPU 的 Transformer 推理

介绍 opennmt/ctranslate2 的最新发行版 v4.8.3,以及该库在 CPU 和 GPU 上运行 Transformer 模型的功能。

仓库信息opennmt/ctranslate2 ↗

介绍 opennmt/ctranslate2 的最新发行版 v4.8.3,以及该库在 CPU 和 GPU 上运行 Transformer 模型的功能。

GitHub 项目说明: Fast inference engine for Transformer models

星标
★ 4.7K
复刻
546
语言
C++
许可证
MIT
最新版本
v4.8.3
查看原始来源 ↗在 GitHub 查看 ↗

opennmt/ctranslate2 是一个用于 Transformer 模型推理的 C++ 与 Python 库。GitHub 仓库记录的最新发行版是 v4.8.3。不过所提供的资料中没有该版本变更了哪些内容,因此无法确认具体的修正事项。该项目专注于以优化格式在 CPU 和 GPU 上本地运行多种 Transformer 架构。

在推理过程中,它通过权重量化、层融合和批次重排来提升运行速度并减少内存占用。支持范围涵盖编码器-解码器、仅解码器和仅编码器模型。它还提供面向 OpenNMT-py、OpenNMT-tf、Fairseq、Marian、OPUS-MT 和 Transformers 的转换器,可以把兼容的模型转换为优化格式。因此,与其说是通用训练框架,它更接近一个把来自多种来源的 Transformer 模型调整为适合推理运行的库。仓库许可证为 MIT。

README 中说明了速度提升与内存节省的功能,但所提供的资料中没有性能测量结果,也没有 v4.8.3 的变更记录。因此,仅凭这些资料难以判断本次发行的具体改进点,以及它在实际环境中的收益。