Devotd Github
新发现推理与服务

abhi245y/ps5lm-plus — 越狱 PS5 上的 llama.cpp 原生应用

abhi245y/ps5lm-plus 是一个原生应用,可在越狱的 PS5 上用 llama.cpp 运行 GGUF 模型,并提供网页聊天和 OpenAI 兼容 API。

仓库信息abhi245y/ps5lm-plus ↗

abhi245y/ps5lm-plus 是一个原生应用,可在越狱的 PS5 上用 llama.cpp 运行 GGUF 模型,并提供网页聊天和 OpenAI 兼容 API。

GitHub 项目说明: llama.cpp on a jailbroken PS5: run any GGUF model natively on the console, starting with Qwen 3.8

星标
★ 478
复刻
61
语言
C++
许可证
GPL-3.0
最新版本
v0.8.3
查看原始来源 ↗在 GitHub 查看 ↗

abhi245y/ps5lm-plus 是一个 C++ 项目,在越狱的 PlayStation 5 上以原生应用的方式运行 llama.cpp,让 GGUF 模型在主机 GPU 上执行。仓库所指向的最新发行版是 v0.8.3。该项目以在主机上运行任意 GGUF 模型为目标,但这个版本具体有哪些改动,所提供的信息中并未说明。

该项目的核心在于把 PS5 自身的 GPU 和 12 GiB 统一内存用于推理,而不是依赖 PC。按照说明,以往的 payload 无法使用 GPU,内存也只有约 6 GiB,而这种标题应用方式正是在应对这一限制。实现方式是把 ggml 的 Vulkan 后端应用到 RADV 移植版上,并使用 12 GiB 的单一设备堆。应用提供 TV 仪表板、模型库和下载功能,并管理内置存储、M.2 与 USB 驱动器上的 GGUF 模型。在联网的设备上,可以使用网页聊天和 OpenAI 兼容 API。许可证为 GPL-3.0。

模型库会按驱动器计算并显示合适的上下文长度与 KV 缓存类型;从 HuggingFace 下载时,先读取前 16 MiB 确认大小,再用 SHA-256 进行校验。这是针对主机硬件量身定制的设计,但性能数值依据的是 README 的自述。因此,它为判断实际性能提供的依据有限,v0.8.3 的具体改动也未能得到确认。