mw00/project-maya の最新リリースは v1.1.15 だ。このプロジェクトは 321B MoE モデル GLM-5.3-Flash を個人用 GPU で動かすための専用エンジンである。提供された情報には v1.1.15 の変更履歴がないため、このバージョンで何が変わったかは確認できない。
核心は、モデルの一部である expert を GPU・RAM・NVMe SSD に分けて置き、会話中に階層間を移動させる階層型メモリ方式である。よく使う expert は GPU に、次は RAM に、残りは SSD に置く。独自の量子化ファイルは 5 種類で、M-Derisked を除く 4 種類はリポジトリの説明で、FP8 モデルに対してゼロショット精度 97.7〜99.2% と示されている。OpenAI・Anthropic 互換 API、最大 8 並列リクエスト、ブラウザチャットと監視ダッシュボードも提供する。MIT ライセンスの C++ プロジェクトだ。
性能表はユーザー提出の実測値であり、4x RTX 4090 で decode 118 tok/s、prefill 4129 tok/s、RTX 5090 単体で 23〜30+ tok/s、RTX 3090 単体で 26〜27 tok/s、AMD Radeon 8065S で最大 29.6 tok/s を記録している。旧式 NVIDIA Pascal のサポートは実験的である。したがってこれらの数値はハードウェアごとの可能性を示す参考値であり、実際の性能は構成によって変わる。