Devotd Github
新发现开发工具

mrsarac/ff-tracking v1.0.0 — 智能体屏幕追踪视频管线

mrsarac/ff-tracking v1.0.0 是一个 Rust 项目,把 AI 智能体的终端屏幕做成仿佛由虚拟摄像头拍摄的影像。

仓库信息mrsarac/ff-tracking ↗

mrsarac/ff-tracking v1.0.0 是一个 Rust 项目,把 AI 智能体的终端屏幕做成仿佛由虚拟摄像头拍摄的影像。

GitHub 项目说明: A virtual camera films an AI agent's screen while a tracker locks onto every glyph. Two fframes passes, one SkSL shader, all sound synthesized.

星标
★ 563
复刻
34
语言
Rust
许可证
MIT
最新版本
v1.0.0
查看原始来源 ↗在 GitHub 查看 ↗

mrsarac/ff-tracking 以字形为单位追踪 AI 智能体在终端中输入的字符,并生成一段仿佛由虚拟摄像头拍摄屏幕的 6 秒视频。GitHub 上公开的最新版本是 v1.0.0。这是一个 Rust 项目,采用 MIT 许可证。

视频由 fframes 的两遍渲染构成。第一遍为每个字符绘制 SVG 文本以获取字形坐标,第二遍则用单个 SkSL 着色器处理透视投影、景深、色差、泛光和 LED 网格。景深是指把失焦部分模糊处理的效果。两遍渲染与声音都读取同一个 hud crate,因此追踪坐标与焦点被设计为不会产生偏差。音效由 tools/sfx.py 合成,在 macOS 上使用 Metal、在 Windows 上使用 Vulkan,并用 FFmpeg 编码视频。

不过,这个项目与其说是可复用的工具,不如说更接近为视频演出而做的、范围很窄的风格测试。在全部 67 个文件中,测试只有 score crate 的 1 个 parity 测试,也没有持续集成配置。同样没有给出用于判断性能或质量的基准数据,因此渲染设计的细节可以确认,但实际性能方面的依据是有限的。