baruquerodrigues/llm-legislativo는 브라질 의회 법령을 대규모로 모은 말뭉치와, 사전 학습 가중치 없이 순수 파이토치(PyTorch)로 처음부터 학습한 인과 트랜스포머 모델을 한 저장소에 묶어 공개한 연구 프로젝트다. 브라질 의회의 공식 기록을 감사 가능한 데이터로 구조화하는 것이 목적이다. MIT 라이선스로 공개됐고 2026년 10월 13일 만들어졌다. 공개된 릴리스는 없다.
자료는 브라질 하원(Câmara dos Deputados)과 상원(Senado Federal)의 공식 역사 기록에서 나온다. 어휘 8192의 바이트 수준 BPE(byte-level BPE)를 처음부터 학습시키는데, 바이트 수준 BPE는 텍스트를 바이트 단위로 쪼갠 뒤 자주 쓰이는 바이트 묶음을 합쳐 어휘를 만드는 방식이다. 인과 마스크 트랜스포머는 직접 구현했고, 덤프·검증·중복 제거는 R로, 스캔본 OCR은 스위프트로, 토크나이저·모델·학습·평가는 파이썬으로 나눠 맡았다. 특정 언어의 대형 전문 말뭉치에서 직접 학습하는 길을 보여준다.
계층마다 테스트를 붙였고, 데이터에는 SHA-256 무결성 검증을 넣었다. 어휘 오염을 막으려고 토크나이저를 훈련 분할에서만 학습시키고 학습·평가 분할 사이의 누출을 확인한다. 모델과 데이터셋 6종이 허깅페이스 허브에 올라가 있어 README가 밝힌 수치를 외부에서 확인할 수 있고, byte_nll_v1 프로토콜로 평가한다.
다만 학습된 모델 자체는 6층, d_model 384, 컨텍스트 512의 소형이라 실사용 가치는 낮다. 다른 모델과 비교한 성능 수치도 없다. 점수에서 참신성 7.0, 기술 8.0, 품질 8.0은 높은 편이지만 모멘텀 5.7은 낮은 편이고, 별은 451개다. 기대할 것은 릴리스가 아니라 언어로 나눈 파이프라인과 계층별 테스트, 토크나이저를 훈련 분할에서만 배우는 설계 쪽에 가깝다.