Devotd Github
新发现推理与服务

cobanov/ps5lm v0.9.1 — 越狱 PS5 上的 llama.cpp 模型服务器

cobanov/ps5lm v0.9.1 是一个模型服务器,可在越狱的 PS5 上运行 GGUF 模型,并通过兼容 API 提供服务。

仓库信息cobanov/ps5lm ↗

cobanov/ps5lm v0.9.1 是一个模型服务器,可在越狱的 PS5 上运行 GGUF 模型,并通过兼容 API 提供服务。

GitHub 项目说明: llama.cpp on a jailbroken PS5: run any GGUF model natively on the console, starting with Qwen 3.8

星标
★ 738
复刻
64
语言
C++
许可证
GPL-3.0
最新版本
v0.9.1
查看原始来源 ↗在 GitHub 查看 ↗

cobanov/ps5lm 是一个私有模型服务器,在越狱的 PS5 上用 llama.cpp 运行 GGUF 模型并通过网络提供。最新发行版是 v0.9.1。公开的 FACTS 没有具体写明这个版本改了什么,因此无法确认改动内容。项目使用 C++ 编写,并以 GPL-3.0 许可证发布。

该项目在 PS5 的 RDNA 2 GPU 上使用 Vulkan 后端。Vulkan 是一条连接到图形设备、让设备执行运算的软件通路。运行起来的模型可以通过 OpenAI 与 Anthropic 兼容 API 以及浏览器聊天,在笔记本、手机和编码工具中使用。它会在屏幕上显示请求、响应和主机状态,也支持图像输入。它还提供面向 Ollaya 这类决策模型的 `/v1/systemone` API。按照文档说明,运行过程中不需要 PC、云服务或账户。

模型与上下文共用 PS5 的 11.4GB 共享内存,文档中描述了按内存挑选模型和缓存的功能。公开资料中能看到的差异点不是自有的推理算法,而是主机移植与模型服务器的结合。文档给出的处理速度是作者自己的测量结果,并非独立复现的数据。当前完整代码与性能都尚未得到验证,因此更适合把它当作在 PS5 上搭建模型服务器的案例,而不是性能评测。