abhi245y/ps5lm-plus は、ジェイルブレイク済みの PlayStation 5 で llama.cpp をネイティブアプリとして動かし、GGUF モデルをコンソールの GPU で実行する C++ プロジェクトです。リポジトリが示している最新リリースは v0.8.3 です。任意の GGUF モデルをコンソール上で実行することを目標としていますが、このリリースで何が変更されたかは、提供された情報には記されていません。
このプロジェクトの中心は、PC ではなく PS5 自体の GPU と 12 GiB の統合メモリを推論に活用する点にあります。説明によると、以前のペイロードでは GPU を使用できず、メモリも約 6 GiB にとどまっており、このタイトルアプリ方式がその制約に対処します。実装では ggml の Vulkan バックエンドを RADV 移植版に適用し、12 GiB の単一デバイスヒープを使用します。アプリは TV ダッシュボード、モデルライブラリ、ダウンロード機能を提供し、内蔵ストレージ・M.2・USB ドライブ上の GGUF モデルを管理します。ネットワークに接続された端末では、ウェブチャットと OpenAI 互換 API を利用できます。ライセンスは GPL-3.0 です。
モデルライブラリはドライブごとに適切なコンテキスト長と KV キャッシュの種類を算出して表示し、HuggingFace からのダウンロードでは先頭の 16 MiB を読んでサイズを確認してから SHA-256 で検証します。これはコンソールハードウェアに合わせた設計ですが、性能の数値は README の自己記述に基づいています。そのため実際の性能を判断する根拠としては限定的であり、v0.8.3 の具体的な変更内容も確認できませんでした。