github.devotd.
新着AIエージェント

kitlangton/scrawl — エージェント向けの画面・音声記録ツール

kitlangton/scrawl は、画面・音声・操作の記録をエージェントに渡せる成果物としてまとめられる macOS アプリです。

リポジトリ情報kitlangton/scrawl ↗

Show an agent a problem: mark up, record, send

スター
★ 324
フォーク
18
言語
Rust
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

kitlangton/scrawl は、問題を文章で説明するのでなく、画面で見せて記録して 전달する macOS アプリです。画面と音声、画面に表示されている内容を収録し、エージェントが調べる資料としてまとめます。GitHub に登録されている主言語は Rust、ライセンスは MIT です。FACTS では最新リリースは提示されていません。

録画結果には注釈付きの contact sheet、個々の高解像度フレーム、時間に合わせた文字起こしと操作タイムライン、構造化された manifest が含まれます。contact sheet は複数のフレームを一枚にまとめて確認するための画像です。Agent skill と scrawl コマンドを使えば、特定時点のフレームを確認・抽出したり、キャプチャを OpenCode セッションに送ったり、MP4 として書き出したりできます。画面の録画に音声・注釈・操作記録を添えてエージェントの入力としてまとめられることが、このプロジェクトの中核です。

実装は Swift の画面キャプチャと Rust のコマンドラインツールを組み合わせています。転送、フレーム調整、インク、キューの各モジュールとそれ和相关したユニットテストがあり、性能測定の資料と処理手順のドキュメントも用意されています。ただし、公開されている性能値が独立に再現されたという根拠は確認できません。そのため、測定資料だけから実環境での性能や適した作業範囲を判断するのは難しいです。