github.devotd.
新发现AI 智能体

kitlangton/scrawl — 面向智能体的画面与语音记录工具

kitlangton/scrawl 是一款 macOS 应用,可把画面、语音和交互记录打包成能交给智能体的产物。

仓库信息kitlangton/scrawl ↗

Show an agent a problem: mark up, record, send

星标
★ 324
复刻
18
语言
Rust
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

kitlangton/scrawl 是一款 macOS 应用,它不用文字描述问题,而是在画面中演示并录制下来传递。它录制画面与语音,以及屏幕上显示的内容,并打包成供智能体查看的资料。GitHub 上登记的主要语言是 Rust,许可证是 MIT。FACTS 中未给出最新发布版本。

录制结果包含带标注的 contact sheet、单张高分辨率帧、与时间对齐的转录文本和交互时间线,以及结构化的 manifest。contact sheet 是把多个帧汇总到一张图上便于查看的图像。利用 Agent skill 和 scrawl 命令,可以查看并提取某个时间点的帧、把画面捕捉发送到 OpenCode 会话,或导出为 MP4。把画面录制连同语音、标注和交互记录一起打包成智能体输入,正是这个项目的核心。

实现上结合了 Swift 的画面捕捉与 Rust 的命令行工具。其中有传输、帧对齐、墨迹、队列等模块及相应的单元测试,也提供性能测量资料和处理流程文档。不过,目前没有证据表明公开的性能数字已被独立复现。因此,仅凭这些测量资料很难判断它在实际环境中的性能或适用的任务范围。