abhi245y/ps5lm-plus 是一个 C++ 项目,在越狱的 PlayStation 5 上以原生应用的方式运行 llama.cpp,让 GGUF 模型在主机 GPU 上执行。仓库所指向的最新发行版是 v0.8.3。该项目以在主机上运行任意 GGUF 模型为目标,但这个版本具体有哪些改动,所提供的信息中并未说明。
该项目的核心在于把 PS5 自身的 GPU 和 12 GiB 统一内存用于推理,而不是依赖 PC。按照说明,以往的 payload 无法使用 GPU,内存也只有约 6 GiB,而这种标题应用方式正是在应对这一限制。实现方式是把 ggml 的 Vulkan 后端应用到 RADV 移植版上,并使用 12 GiB 的单一设备堆。应用提供 TV 仪表板、模型库和下载功能,并管理内置存储、M.2 与 USB 驱动器上的 GGUF 模型。在联网的设备上,可以使用网页聊天和 OpenAI 兼容 API。许可证为 GPL-3.0。
模型库会按驱动器计算并显示合适的上下文长度与 KV 缓存类型;从 HuggingFace 下载时,先读取前 16 MiB 确认大小,再用 SHA-256 进行校验。这是针对主机硬件量身定制的设计,但性能数值依据的是 README 的自述。因此,它为判断实际性能提供的依据有限,v0.8.3 的具体改动也未能得到确认。