baruquerodrigues/llm-legislativo 是一个研究项目，把大规模汇集的巴西立法文本语料与一个不使用任何预训练权重、以纯 PyTorch 从零训练出来的因果 Transformer 模型放在同一个仓库中发布。目标是把巴西国会的官方记录结构化为可审计的数据。项目以 MIT 许可证开源，创建于 2026 年 10 月 13 日。目前没有公开的发布版本。
数据来自巴西众议院（Câmara dos Deputados）和联邦参议院（Senado Federal）的官方历史记录。词表规模为 8192 的字节级 BPE（byte-level BPE）从零训练；字节级 BPE 的做法是先把文本切分成字节单元，再把频繁出现的字节组合并为词表条目。因果掩码 Transformer 是自行实现的。语料导出、校验与去重用 R 编写，Scanbot OCR 用 Swift 编写，分词器、模型、训练与评估用 Python 编写。项目展示了在单一语言的大型专业语料上直接训练的一条路径。
每一层都配了测试，数据中加入了 SHA-256 完整性校验。为避免词表污染，分词器只在训练划分上学习，并检查训练划分与评估划分之间是否存在泄漏。模型与数据集条目共 6 个，已发布在 Hugging Face Hub 上，因此 README 中给出的数值可以从外部核对，评估采用 byte_nll_v1 协议。
不过训练出来的模型本身很小——6 层、d_model 384、上下文 512——实际使用价值不高。也没有与其他模型对比的性能数据。评分中创新性 7.0、技术 8.0、质量 8.0 偏高，动量 5.7 偏低，星标数为 451。值得期待的与其说是发布版本，不如说是按语言拆分的流水线、逐层测试，以及只在训练划分上学习分词器的设计。