jaydenteoh/soft-mtp 是 “Multi-Token Prediction Done Right” 论文的官方实现仓库。它用 Python 编写，以 MIT 许可证开源。该仓库实现了标准多 token 预测与 Soft-MTP 目标函数，可以在同一个损失函数中选择其一。因此，这个项目的核心在于把多个目标函数放在同一套实现中处理。阅读论文时，可以结合代码一并查看相关的训练设置与评估流程。
README 整理了使用 FineWeb-Edu token 的训练设置、预训练模型以及训练与评估命令。设置中的模型规模从 167M 到 1.2B 参数不等。此外，它还把梯度恢复（gradient recovery）技术与交叉熵计算结合起来。测试命令的构成是检查计算得到的梯度是否与直接求解 KL 最小化的结果一致。这样的编排让人不仅能在仓库中看到目标函数的说明，也能看到验证该计算的方法。
不过，所提供的信息中没有训练模型在各任务上的性能，也没有与标准多 token 预测的对比结果。因此，仅凭设置和测试命令无法判断实际性能的优劣。仓库也没有登记最新发行版。目前能够确认的范围，仅到论文目标函数的实现及其梯度计算的核对流程为止。