Новый проект
nossa-y/activity-frames
Локально записывает экранную активность, превращает её в измеримые контексты и воспроизводимые сценарии, доступные агентам через CLI, Python и MCP.
- Stars
- ★ 540
- Forks
- ⑂ 36
- Язык
- Python
- Статус
- В канале 1 янв. 1 г.
AI-разбор
Activity Frames превращает повседневную работу за компьютером в структурированные записи активности, которые агент может использовать как контекст или исполняемый сценарий. Система локально обрабатывает снимки экрана, события ввода и данные дерева доступности, объединяет их в сессии и activity frames с временными границами, приложениями, сайтами, страницами, длительностью и ссылками на исходные данные. Повторяющиеся действия можно представить как последовательности фокуса, кликов и ввода, чтобы агент воспроизводил их без повторного вывода шагов; при отклонении от ожидаемого сценария выполнение останавливается. Доступны CLI, Python API и MCP-сервер с инструментами для получения контекста, активности, шагов, сводок дня, повторяющихся шаблонов и коммуникационных поверхностей. Компиляция выполняется детерминированным кодом без LLM, данные хранятся локально, а содержимое ввода включается в результаты только по явному запросу. Проект разработан и протестирован прежде всего на macOS с Apple Silicon; на Linux требуется внешний совместимый recorder, поскольку готового движка захвата для этой платформы нет.
Разработчики компьютерных агентов, инженеры автоматизации, исследователи памяти и контекстной инженерии, а также пользователи macOS, которым нужно локально анализировать рабочие действия и превращать повторяющиеся задачи в исполняемые сценарии.
Что внутри
- Локальная запись экранной активности, событий ввода и данных дерева доступности через связку с nocta-recorder.
- Детерминированная компиляция исходных записей в activity frames с сессиями, длительностью, приложениями, сайтами, сущностями страниц и ссылками на доказательства.
- Формирование компактного контекстного блока за выбранный период для передачи агенту через системный запрос.
- Извлечение воспроизводимых сценариев с упорядоченными действиями focus, click и type, включая цель, роль элемента и URL.
- Поиск повторяющейся работы по кликам, последовательностям действий, URL, переключениям приложений и ежедневным привычкам.
- Интеграция через CLI, Python API и MCP с поддержкой JSON, YAML и текстовых результатов.
Где применять
- Передача агенту измеренного контекста о последних часах или рабочем дне без ручного пересказа действий.
- Автоматизация повторяющихся задач в браузере и настольных приложениях после демонстрации исходного сценария.
- Анализ времени по приложениям, периодов отсутствия и повторяющихся рабочих шаблонов.
- Получение названий окон почтовых и коммуникационных сервисов без чтения содержимого сообщений.
- Использование локальной базы захвата в командах и проектах, где важны приватность и отсутствие загрузки данных во внешние сервисы.
Темы