Devotd Github
新着推論・サービング

vladimirrott/mojo-dllm v0.1.0 — 拡散言語モデルの Mojo ローカル推論

vladimirrott/mojo-dllm は LLaDA-8B と Dream-7B を GGUF ファイルから動かす Mojo 実装で、記録されている最新リリースは v0.1.0 である。

リポジトリ情報vladimirrott/mojo-dllm ↗

vladimirrott/mojo-dllm は LLaDA-8B と Dream-7B を GGUF ファイルから動かす Mojo 実装で、記録されている最新リリースは v0.1.0 である。

GitHub の説明: Local inference for diffusion language models (LLaDA, Dream), written in Mojo

スター
★ 48
フォーク
1
言語
Mojo
ライセンス
Apache-2.0
最新リリース
v0.1.0
原文を見る ↗GitHub で見る ↗

vladimirrott/mojo-dllm は拡散言語モデル LLaDA-8B と Dream-7B をローカルで実行する Mojo 実装である。FACTS に記録された最新リリースは v0.1.0 である。提供された資料には、このバージョンで新たに追加・変更された項目は別途示されていない。リポジトリの説明と README の要約によると、この実装は量子化された GGUF ファイルを読み込み、モデルの反復生成過程を実行する。

GGUF はモデル重みを格納するファイル形式で、このリポジトリは GGUF の読み込みからトークナイザ、行列演算、GPU カーネル、トランスフォーマーと反復生成まで、推論パスを Mojo で構成している。LLaDA-8B と Dream-7B は CPU または NVIDIA GPU で実行でき、実行中に Python は必要ない。モデルとトークナイザのモジュールに対応するテストもツリーに含まれている。Apache-2.0 ライセンスの実装であり、拡散言語モデルのローカル推論パスを Mojo で扱う点が核心である。

性能に関するデータは条件付きで読む必要がある。README の比較には異なるハードウェア、モデル、測定手順が混在しており、数値を直接比較しにくく、ベンチマーク結果も独立に再現されていない。したがってリポジトリが実行パスとテストを提供していることは確認できるが、提示された比較数値だけから実際の性能を判断することは難しい。