Devotd Github
新发现机器人

black-forest-labs/flux-action — 添加用于实时分块的已提交前缀

为 FLUX 3 Action 添加了已提交前缀实时分块功能,使机器人在预测下一段动作期间也能继续运动。

仓库信息black-forest-labs/flux-action ↗

为 FLUX 3 Action 添加了已提交前缀实时分块功能,使机器人在预测下一段动作期间也能继续运动。

GitHub 项目说明: FLUX 3 Action: open weights 7B world action model from Black Forest Labs. Train, fine-tune and run action prediction for robots (DROID, SO-101), simulators and games.

星标
★ 181
复刻
12
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

Black Forest Labs 的 flux-action 是一个开放权重的 7B 世界动作模型,在机器人(DROID、SO-101)、模拟器和游戏中对动作预测进行学习与微调后执行。2026-11-02 的提交 89ad4b6(PR #9)添加了“已提交前缀实时分块(real-time chunking)”。已经发送给机器人的命令被固定为前缀,其后的区段才被重新预测。

新增设置有两个。rtc_max_prefix 在学习时为每个窗口从 [0, rtc_max_prefix] 中抽取前缀长度 P,并把 timestep 0 的正确目标值放入前 P 个动作 token,但不对其计算损失。其余 token 被重新加权,使其权重不随 P 变化。在推理中,当 predict_action_chunk 收到 committed_actions 时,它在所有去噪步骤中把这些命令固定在前 P 个 token 上并原样返回。select_action 在队列中还剩 rtc_overlap 个命令时预测下一段动作,并将其提交为该段的开头,从而让连续的分块无缝衔接。docs/setup.md 中新增了控制循环的说明:当剩余命令为 P 个时,在后台线程中启动下一次预测;测试则添加在 tests/test_rtc.py。

局限是明确的。该功能仅在 absolute 和 joint_relative 动作参数化下有效,joint_delta 在配置阶段会被拒绝。在使用 prepare_inference() 的参考路径中无法使用。P 必须覆盖延迟时间×控制频率,因此在 30 Hz 下 250 ms 的延迟对应 8 个命令,即大约需要 10 个,并且必须直接在机器人计算机上实测最慢的预测来确定。文档写明,启用编译和蒸馏后,在 RTX 5090 上测得约 140 ms,并建议请求优化的部署检查点。不过该提交中没有性能对比或统计数据,而且两个设置项的默认值都是 0,因此既有行为保持不变。延迟造成的停顿能减少多少,在没有单独实测之前难以判断,因此应先实测实际的控制周期和延迟时间。