jaydenteoh/soft-mtp는 “Multi-Token Prediction Done Right” 논문의 공식 구현 저장소다. Python으로 작성됐으며 MIT 라이선스로 공개돼 있다. 저장소는 표준 다중 토큰 예측과 Soft-MTP 목적 함수를 하나의 손실 함수에서 선택할 수 있도록 구현했다. 따라서 이 프로젝트의 핵심은 여러 목적 함수를 한 구현 안에서 다룰 수 있게 한 데 있다. 논문을 읽을 때 관련 학습 설정과 평가 절차를 코드와 함께 확인할 수 있는 자료다.
README에는 FineWeb-Edu 토큰을 사용하는 학습 설정과 사전 학습 모델, 학습 및 평가 명령이 정리돼 있다. 설정의 모델 규모는 167M부터 1.2B 매개변수까지다. 또한 경사 복구 기법을 교차 엔트로피 계산에 결합한다. 시험 명령은 계산된 경사가 KL 최소화를 직접 구한 결과와 맞는지 확인하도록 구성돼 있다. 이런 구성은 목적 함수의 설명뿐 아니라 해당 계산을 확인하는 방법도 저장소에서 살펴볼 수 있게 한다.
다만 제공된 정보에는 학습 모델의 과제별 성능이나 표준 다중 토큰 예측과의 비교 결과가 없다. 따라서 설정과 시험 명령만으로 실제 성능의 우열을 판단할 수는 없다. 등록된 최신 릴리스도 없다. 현재 확인할 수 있는 범위는 논문의 목적 함수 구현과 그 경사 계산을 점검하는 절차까지다.