github.devotd.
新着推論・サービング

wandermyz/vhotseat v0.1.0 — GPU 作業のリソース引き渡しツール

wandermyz/vhotseat は、実行中の作業を中断させずにローカル LLM と ComfyUI が GPU リソースを交互に使えるよう仲介する Python ツールだ。

リポジトリ情報wandermyz/vhotseat ↗

Take turns on one GPU: hand it between a local LLM (e.g. Strata, driven by an agent like pi), ComfyUI and any other workload, never interrupting running work.

スター
★ 1
フォーク
0
言語
Python
ライセンス
MIT
最新リリース
v0.1.0
原文を見る ↗GitHub で見る ↗

wandermyz/vhotseat は、実行中の作業を止めずにローカル LLM と ComfyUI が GPU リソースを交互に使うよう仲介する Python ツールである。GitHub リポジトリに記載されている最新リリースは v0.1.0 だ。提供された FACTS にはこのバージョンで追加・変更された機能の記載がないため、変更内容は確認できない。リポジトリが提示している要点は、実行中の回答やレンダリングを中断せずに GPU リソースを次の作業へ引き渡す仕組みである。

このツールは GPU メモリを共有する作業の実行タイミングを調整する。どちらかの作業が進行中なら、それが完了するまで待ってからリソースを引き渡す。待機中の ComfyUI 作業があれば LLM のロードを拒否し、利用可能メモリを確認する。リソースの余裕チェック、作業ごとの接続パネル、一括作業ツール、ステータスダッシュボードも提供する。設定で他のグラフィック作業を関連付けることができ、README にはモックサーバーを用いたコマンドと引き渡し試験が案内されている。ライセンスは MIT だ。

リポジトリのスターは 1 件と記録されている。提供された資料には、実際の GPU でのスループットや切り替え遅延の数値はない。試験に関する説明もモックサーバーを基盤としたものであり、実機や多様な作業の組み合わせでの動作を裏付ける資料とは見られない。したがって現時点で確認できるのは、作業を中断しないリソース引き渡しの仕組みとモック試験までであり、実環境での性能と安定性は判断しにくい。