github.devotd.
新发现推理与服务

wandermyz/vhotseat v0.1.0 — GPU 作业资源移交工具

wandermyz/vhotseat 是一个 Python 工具,负责协调,使本地 LLM 与 ComfyUI 在不中断运行中任务的前提下交替使用 GPU 资源。

仓库信息wandermyz/vhotseat ↗

Take turns on one GPU: hand it between a local LLM (e.g. Strata, driven by an agent like pi), ComfyUI and any other workload, never interrupting running work.

星标
★ 1
复刻
0
语言
Python
许可证
MIT
最新版本
v0.1.0
查看原始来源 ↗在 GitHub 查看 ↗

wandermyz/vhotseat 是一个 Python 工具,负责协调,让本地 LLM 与 ComfyUI 交替使用 GPU 资源,同时不中断正在运行的任务。GitHub 仓库记录的最新发布版本为 v0.1.0。所提供的 FACTS 中没有列出该版本新增或变更的功能,因此无法确认变更内容。仓库提出的核心思路是:在不打断正在生成的回复或渲染的情况下,把 GPU 资源移交给下一个作业。

该工具负责调整共享 GPU 显存的作业的执行时机。若一侧作业正在进行,它会等待该作业结束后再移交资源;若存在排队的 ComfyUI 作业,它会拒绝 LLM 负载并检查可用显存。它还提供资源余量检查、按作业划分的连接面板、批量作业工具和状态面板。设置中可关联其他图形作业,README 中还给出了使用模拟服务器的命令与移交试验说明。许可证为 MIT。

仓库记录为 1 个 star。所提供的资料中没有实际 GPU 上的吞吐量或切换延迟数据。关于试验的说明同样以模拟服务器为基础,因此不能视为在真实设备及各种作业组合下验证行为的资料。因此目前可确认的范围仅限于不中断作业的资源移交结构以及模拟试验;在真实环境中的性能与稳定性难以判断。