Новый проект

oxbshw/watch-skill

Локальный слой видеоаналитики для AI-агентов: поиск по видео, распознавание сцен и речи, временные доказательства и проверка результатов через цикл THE LOOP.

Открыть GitHub

Stars: ★ 314
Forks: ⑂ 49
Язык: Python
Статус: В канале 1 янв. 1 г.

AI-разбор

Watch Skill превращает видео, прямые трансляции, записи встреч и экранные сессии агентов в индексируемые данные с временными метками и доказательствами. Единое ядро на Python объединяет получение медиаданных, выделение сцен, OCR, транскрибацию, индексацию, ответы по содержимому и проверку результатов. Проект поддерживает локальную обработку, субтитры, Whisper, Ollama и подключаемые провайдеры Gemini, Anthropic, OpenAI и OpenRouter; поиск использует полнотекстовый и векторный подходы. Цикл THE LOOP записывает работу браузера, окна или экрана, сопоставляет результат с критериями на естественном языке, помогает выявить ошибку и сохраняет подтверждение после исправления. Доступны 23 MCP-инструмента, CLI, REST, навыки и адаптеры для LangChain, CrewAI, OpenAI Agents SDK, LlamaIndex и AutoGen. Подтверждённые ограничения включают необходимость внешних зависимостей для установки и возможность использования облачных моделей только при соответствующей настройке, тогда как транскрибация, OCR и поиск могут работать без API-ключа.

Кому подойдёт

Разработчики AI-агентов, инженеры автоматизации и QA, исследователи, команды технической поддержки и контента, которым нужны поиск по видео, проверяемые временные доказательства и локальная интеграция с агентскими инструментами.

Что внутри

Анализ локальных файлов, потоков, встреч, браузеров, окон и источников с более чем 1800 сайтов через медиазагрузку и FFmpeg.
Выделение сцен, удаление похожих кадров, OCR, транскрибация и ответы с временными метками, уверенностью и ссылками на использованные фрагменты.
Постоянный индекс видео с полнотекстовым и векторным поиском внутри одного ролика и по всей библиотеке, включая синтез сведений между видео.
Цикл THE LOOP для захвата браузера, экрана или окна, критики результата, исправления и формирования доказательств до и после изменений.
Интеграция через 23 MCP-инструмента, CLI, REST и адаптеры для популярных агентских клиентов и Python-фреймворков.
Локальные уроки об ошибках, многоязычный поиск, кэширование, лимиты токенов и политики cheapest, quality_first и offline_only.

Где применять

Исследовательские и аналитические команды могут собирать библиотеку лекций, интервью, встреч и трансляций, а затем находить решения и события по текстовым запросам с точными временными ссылками.
Разработчики AI-агентов могут проверять браузерные сценарии и интерфейсы: фиксировать исходную работу, находить дефекты вроде некорректной суммы и подтверждать исправление.
Команды контента и QA могут анализировать видеоматериалы, игровые сессии и демонстрации, извлекать структурированные сведения и экспортировать автономный HTML-отчёт.
Организации с повышенными требованиями к приватности могут выполнять OCR, поиск и транскрибацию локально, подключая облачные модели только при необходимости.

Темы

agent-tools ai-agents claude claude-code computer-vision ffmpeg langchain local-ai mcp multimodal

Что внутри

Анализ локальных файлов, потоков, встреч, браузеров, окон и источников с более чем 1800 сайтов через медиазагрузку и FFmpeg.

Выделение сцен, удаление похожих кадров, OCR, транскрибация и ответы с временными метками, уверенностью и ссылками на использованные фрагменты.

Постоянный индекс видео с полнотекстовым и векторным поиском внутри одного ролика и по всей библиотеке, включая синтез сведений между видео.

Цикл THE LOOP для захвата браузера, экрана или окна, критики результата, исправления и формирования доказательств до и после изменений.

Интеграция через 23 MCP-инструмента, CLI, REST и адаптеры для популярных агентских клиентов и Python-фреймворков.

Локальные уроки об ошибках, многоязычный поиск, кэширование, лимиты токенов и политики cheapest, quality_first и offline_only.

Где применять

Исследовательские и аналитические команды могут собирать библиотеку лекций, интервью, встреч и трансляций, а затем находить решения и события по текстовым запросам с точными временными ссылками.

Разработчики AI-агентов могут проверять браузерные сценарии и интерфейсы: фиксировать исходную работу, находить дефекты вроде некорректной суммы и подтверждать исправление.

Команды контента и QA могут анализировать видеоматериалы, игровые сессии и демонстрации, извлекать структурированные сведения и экспортировать автономный HTML-отчёт.

Организации с повышенными требованиями к приватности могут выполнять OCR, поиск и транскрибацию локально, подключая облачные модели только при необходимости.

Что внутри

Где применять

Похожие проекты

Stupidoodle/swissdevjobs-cli

mikehasa/agentacct

ohad6k/emulo

Что внутри

Где применять

Похожие проекты

Stupidoodle/swissdevjobs-cli

mikehasa/agentacct

ohad6k/emulo