cobanov/ps5lm 是一个私有模型服务器,在越狱的 PS5 上用 llama.cpp 运行 GGUF 模型并通过网络提供。最新发行版是 v0.9.1。公开的 FACTS 没有具体写明这个版本改了什么,因此无法确认改动内容。项目使用 C++ 编写,并以 GPL-3.0 许可证发布。
该项目在 PS5 的 RDNA 2 GPU 上使用 Vulkan 后端。Vulkan 是一条连接到图形设备、让设备执行运算的软件通路。运行起来的模型可以通过 OpenAI 与 Anthropic 兼容 API 以及浏览器聊天,在笔记本、手机和编码工具中使用。它会在屏幕上显示请求、响应和主机状态,也支持图像输入。它还提供面向 Ollaya 这类决策模型的 `/v1/systemone` API。按照文档说明,运行过程中不需要 PC、云服务或账户。
模型与上下文共用 PS5 的 11.4GB 共享内存,文档中描述了按内存挑选模型和缓存的功能。公开资料中能看到的差异点不是自有的推理算法,而是主机移植与模型服务器的结合。文档给出的处理速度是作者自己的测量结果,并非独立复现的数据。当前完整代码与性能都尚未得到验证,因此更适合把它当作在 PS5 上搭建模型服务器的案例,而不是性能评测。