baruquerodrigues/llm-legislativo は、ブラジルの立法文書を大規模に集めたコーパスと、事前学習済み重みを使わずに純粋な PyTorch でゼロから学習した因果性トランスフォーマーモデルを 1 つのリポジトリにまとめて公開した研究プロジェクトである。目的は、ブラジル国会の公式記録を監査可能なデータとして構造化することにある。MIT ライセンスで公開され、2026 年 10 月 13 日に作成された。公開されたリリースはない。
データはブラジル下院（Câmara dos Deputados）と連邦上院（Senado Federal）の公式履歴記録から取得している。語彙数 8192 のバイトレベル BPE（byte-level BPE）をゼロから学習しており、バイトレベル BPE とはテキストをバイト単位に分割したうえで、頻出するバイトの連続をまとめて語彙を作る方式である。因果性マスクトランスフォーマーは自前で実装した。コーパスのダンプ・検証・重複除去は R、Scanbot OCR は Swift、トークナイザー・モデル・学習・評価は Python と役割を分けた。特定言語の大規模な専門コーパスで直接学習する道筋を示している。
層ごとにテストが置かれ、データには SHA-256 の完全性検証が入っている。語彙の汚染を防ぐため、トークナイザーは訓練分割でのみ学習し、学習分割と評価分割の間の漏れを確認する。モデルとデータセットの成果物 6 点が Hugging Face Hub にあり、README に記載された数値は外部で確認でき、評価は byte_nll_v1 プロトコルで行う。
ただし学習済みのモデル自体は 6 層、d_model 384、コンテキスト 512 の小規模なもので、実用上の価値は低い。他モデルと比較した性能指標もない。スコアでは新規性 7.0、技術 8.0、品質 8.0 は高めだが、モメンタム 5.7 は低めで、スターは 451 個である。期待すべきはリリースではなく、言語ごとに分けたパイプライン、層ごとのテスト、トークナイザーを訓練分割でのみ学習する設計の側にある。