Devotd Github
新发现推理与服务

vladimirrott/mojo-dllm v0.1.0 — 扩散语言模型的 Mojo 本地推理

vladimirrott/mojo-dllm 是一个用 Mojo 实现、可从 GGUF 文件运行 LLaDA-8B 与 Dream-7B 的项目,记录的最新版本为 v0.1.0。

仓库信息vladimirrott/mojo-dllm ↗

vladimirrott/mojo-dllm 是一个用 Mojo 实现、可从 GGUF 文件运行 LLaDA-8B 与 Dream-7B 的项目,记录的最新版本为 v0.1.0。

GitHub 项目说明: Local inference for diffusion language models (LLaDA, Dream), written in Mojo

星标
★ 48
复刻
1
语言
Mojo
许可证
Apache-2.0
最新版本
v0.1.0
查看原始来源 ↗在 GitHub 查看 ↗

vladimirrott/mojo-dllm 是一个用 Mojo 实现的、在本地运行扩散语言模型 LLaDA-8B 与 Dream-7B 的项目。FACTS 中记录的最新版本是 v0.1.0。所提供的材料没有单独列出该版本新增或变更的内容。根据仓库说明与 README 摘要,该实现读取量化后的 GGUF 文件,执行模型的迭代生成过程。

GGUF 是承载模型权重的文件格式,这个仓库用 Mojo 构建了从读取 GGUF 到分词器、矩阵运算、GPU 内核、Transformer 再到迭代生成的整条推理路径。LLaDA-8B 与 Dream-7B 可以在 CPU 或 NVIDIA GPU 上运行,运行过程中不需要 Python。仓库中也包含针对模型与分词器模块的测试。该实现采用 Apache-2.0 许可,其核心在于用 Mojo 处理扩散语言模型的本地推理路径。

性能数据需要结合条件来读。README 的比较混入了不同的硬件、模型与测量流程,因此数值难以直接对比,基准测试结果也没有被独立复现。所以可以确认该仓库提供了可运行的推理路径与测试,但仅凭给出的对比数值难以判断实际性能。