wwoosshh/geulpuv2 提供用于在本地 GPU 上运行 GGUF 语言模型的确定性引擎与调试器。该仓库的最新发布版本为 v0.9.0。所提供的资料中没有列出这一版本新变更的项目,因此无法确定各版本的具体变更内容。项目的核心是以文档形式规定精度规范,使相同的请求能够复现相同的词元与概率值。引擎、服务器和应用均以韩语关键字编程语言 Glolang 实现。
该仓库专注于复现模型执行结果并查看差异。运行可以被记录并重放,也可以与在分叉词元处改变某一个要素之后的结果进行比较。它还提供逐词元分析界面。据 README,它支持 CUDA 和 Vulkan,并具备浏览器对话界面和兼容 OpenAI 的接口。仓库语言标注为 Python,许可证为 MIT。此处的确定性指的是一种设计:在包含批处理或槽位、提示缓存、推测性解码等执行条件的情况下,仍然试图固定结果。
不过,所提供的资料未给出性能对比或外部验证结果,因此难以判断该精度规范在实际环境中能在多大范围内成立。因此,与其说它具备 v0.9.0 的具体变更点或引擎的性能优势,更准确的说法是:这是一个可以确认具备记录并比较运行的调试结构的仓库。