Devotd Github
新着推論・サービング

markab21/rpn-gpt — Nemotron 3.5 Lightning の中の Forth マシン

markab21/rpn-gpt は、Nemotron 3.5 Lightning の重みに Forth マシンを組み込み、モデルにそれを使えるように事後学習させる構成を紹介している。

リポジトリ情報markab21/rpn-gpt ↗

markab21/rpn-gpt は、Nemotron 3.5 Lightning の重みに Forth マシンを組み込み、モデルにそれを使えるように事後学習させる構成を紹介している。

GitHub の説明: An exact Forth machine compiled into Nemotron 3.5 Lightning's weights, and the post-training that teaches the model to use it.

スター
★ 3
フォーク
1
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

markab21/rpn-gpt は、Nemotron 3.5 Lightning の重みの中に厳密な Forth マシンをコンパイルし、モデルがそのマシンを使うように事後学習させたプロジェクトである。リポジトリの説明は、モデルが通常のテキストで逆ポーランド記法のプログラムを生成する一方で、計算用のスタックマシンを並行して動かす構成を提案している。焦点は特定のバージョンの変更点ではなく、モデルの中に計算装置を組み込むという実験設計にある。

逆ポーランド記法(RPN)は、値をまずスタックに積み、演算子をその後に置く表記法である。このプロジェクトでは、モデルが生成の過程で 자신이書いたプログラムを実行する。README は図とトークンごとの例を使って、隠れたトークンによってマシンステップを実行し、その結果を引き続き書き出す仕組みを説明している。実行ログと計算例も併せて掲載している。構成には Nemotron 3.5 Lightning、LoRA、重みによって計算された Forth マシン、学習データ、および複数の配布形式のモデルが含まれる。リポジトリは Python で書かれており、ライセンスは MIT である。

この方式の中心は、テキスト生成と計算をモデル内部でつなぐことにある。ただし、提供された情報には性能スコアも比較結果もなく、最新リリースの記載もない。そのため例や実行ログは設計がどのように動くかを示してはいるが、実際の計算性能を判断する根拠としては不足している。