Devotd Github
新着推論・サービング

wwoosshh/geulpuv2 v0.9.0 — 決定論的なローカル LLM エンジンとデバッガ

wwoosshh/geulpuv2 は、ローカル GPU 上で GGUF モデルを再現性よく実行し、記録した実行を比較するためのエンジン・デバッガのリポジトリです。

リポジトリ情報wwoosshh/geulpuv2 ↗

wwoosshh/geulpuv2 は、ローカル GPU 上で GGUF モデルを再現性よく実行し、記録した実行を比較するためのエンジン・デバッガのリポジトリです。

GitHub の説明: Deterministic local LLM engine and debugger — run GGUF models on your own GPU, get bit-identical output, and record, replay and compare runs. Written in 글(geul).

スター
★ 4
フォーク
0
言語
Python
ライセンス
MIT
最新リリース
v0.10.2
原文を見る ↗GitHub で見る ↗

wwoosshh/geulpuv2 は、ローカル GPU 上で GGUF 言語モデルを実行するための決定論的なエンジンとデバッガを提供します。リポジトリの最新リリースは v0.9.0 です。提供された資料にはこのバージョンで新たに変更された項目が示されていないため、リリースごとの変更内容は特定できません。同じリクエストに対して同じトークンと確率値を再現するよう、精度規約を文書で定めていることがこのプロジェクトの中核です。エンジン、サーバー、アプリは、韓国語のキーワード型プログラミング言語である Glolang で実装されています。

このリポジトリは、モデル実行の結果を再現し、その差分を調べることに重点を置いています。実行を記録して再生でき、分岐するトークンの位置で一つの要素を変更した結果と比較することもできます。トークンごとの分析画面も備えています。README によれば CUDA と Vulkan に対応しており、ブラウザのチャット画面と OpenAI 互換インターフェースも持ちます。リポジトリの言語は Python と表示され、ライセンスは MIT です。ここでの決定論とは、バッチやスロット、プロンプトキャッシュ、投機的デコードなどの実行条件が含まれ即便(results) 結果を固定しようとする設計を指します。

ただし、提供された資料には性能比較や外部検証の結果が示されていないため、その精度規約が実際の環境でどこまで成立するかは判断できません。したがって、v0.9.0 の具体的な変更点やエンジンの性能上の優位性よりも、実行を記録して比較するデバッグ構造が確認できるリポジトリと捉えるほうが正確です。