Devotd Github
新发现推理与服务

wwoosshh/geulpuv2 v0.9.0 — 确定性本地 LLM 引擎与调试器

wwoosshh/geulpuv2 是一个引擎与调试器仓库,用于在本地 GPU 上可复现地运行 GGUF 模型,并比较已记录的运行。

仓库信息wwoosshh/geulpuv2 ↗

wwoosshh/geulpuv2 是一个引擎与调试器仓库,用于在本地 GPU 上可复现地运行 GGUF 模型,并比较已记录的运行。

GitHub 项目说明: Deterministic local LLM engine and debugger — run GGUF models on your own GPU, get bit-identical output, and record, replay and compare runs. Written in 글(geul).

星标
★ 4
复刻
0
语言
Python
许可证
MIT
最新版本
v0.10.2
查看原始来源 ↗在 GitHub 查看 ↗

wwoosshh/geulpuv2 提供用于在本地 GPU 上运行 GGUF 语言模型的确定性引擎与调试器。该仓库的最新发布版本为 v0.9.0。所提供的资料中没有列出这一版本新变更的项目,因此无法确定各版本的具体变更内容。项目的核心是以文档形式规定精度规范,使相同的请求能够复现相同的词元与概率值。引擎、服务器和应用均以韩语关键字编程语言 Glolang 实现。

该仓库专注于复现模型执行结果并查看差异。运行可以被记录并重放,也可以与在分叉词元处改变某一个要素之后的结果进行比较。它还提供逐词元分析界面。据 README,它支持 CUDA 和 Vulkan,并具备浏览器对话界面和兼容 OpenAI 的接口。仓库语言标注为 Python,许可证为 MIT。此处的确定性指的是一种设计:在包含批处理或槽位、提示缓存、推测性解码等执行条件的情况下,仍然试图固定结果。

不过,所提供的资料未给出性能对比或外部验证结果,因此难以判断该精度规范在实际环境中能在多大范围内成立。因此,与其说它具备 v0.9.0 的具体变更点或引擎的性能优势,更准确的说法是:这是一个可以确认具备记录并比较运行的调试结构的仓库。