Devotd Github
リリース推論・サービング

mw00/project-maya v1.1.41 — マルチGPUプロンプト処理の改善

ユーザーGPU上で大型MoEモデルを実行するmw00/project-mayaが、v1.1.41でマルチGPUプロンプト処理の改善とエージェントのループ防止機能を追加した。

リポジトリ情報mw00/project-maya ↗

ユーザーGPU上で大型MoEモデルを実行するmw00/project-mayaが、v1.1.41でマルチGPUプロンプト処理の改善とエージェントのループ防止機能を追加した。

GitHub の説明: Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.

スター
★ 2.3K
フォーク
301
言語
Cuda
ライセンス
MIT
最新リリース
v1.1.41
原文を見る ↗GitHub で見る ↗

mw00/project-mayaはv1.1.41を公開した。ユーザーGPU上でGLM-5.3-Flash(321B MoE)、DeepSeek-V4.1-Flash-1017(748B MoE)、MiniMax-M3.1-Flash(428B MoE)を実行できるようにしたプロジェクトである。今回のリリースにはコミュニティからの36件のコントリビューションが含まれている。リリース説明によると、マルチGPU環境では起動直後の最初の長いプロンプトの読み込み速度が約1.3倍速くなった。

このプロジェクトはモデル実行エンジンだけでなく、サーバー、ダッシュボード、OpenAIおよびAnthropic互換API、量子化ツールもまとめて提供する。説明では、1枚から16枚までのNVIDIAまたはAMD GPUと、LinuxおよびWindowsに対応していると記されている。そのためモデル実行に必要な構成要素を1つのリポジトリで確認でき、互換APIを使う構成も選択できる。リリース情報には、メモリが足りないPCでも速度が改善されたとも追記されている。

v1.1.41には、ターンが切り替わっても機能し続けるエージェントのループ防止機構も追加された。ただしリリース説明は、約1.3倍の改善についての測定環境や比較基準を明かしていない。この数値はリリース側が報告した結果とみなせるが、他の環境でも同じ改善が得られると判断できる根拠は示されていない。