Новый проект
jamiepadolm/OCRgenius
TypeScript-SDK для обнаружения промпт-инъекций, джейлбрейков, утечек данных и аномального поведения LLM в реальном времени.
- Stars
- ★ 33
- Forks
- ⑂ 0
- Язык
- TypeScript
- Статус
- В канале 1 янв. 1 г.
AI-разбор
SentryLLM размещается между приложением и поставщиком LLM, проверяя каждый запрос и ответ и рассчитывая оценку риска за миллисекунды. Проект обнаруживает промпт-инъекции, косвенные инъекции в документах и результатах инструментов, попытки обхода ограничений, утечки персональных данных и учетных данных, захват вызовов инструментов и многошаговые атаки. В состав входят TypeScript/Node.js SDK, инспектор промптов, поведенческий классификатор, сканер ответов и коррелятор сессий; анализ выполняется ансамблем моделей и набором правил. В зависимости от политики система может записывать событие, отправлять оповещение или блокировать вызов, а веб-панель показывает угрозы, оценки серьезности, сессии, тренды и настройки политик. Заявлены интеграции с OpenAI через обертку асинхронных вызовов, WebSocket и Server-Sent Events, PostgreSQL, Redis, Slack, PagerDuty, вебхуками и электронной почтой. Поддержка OpenTelemetry, LangChain, LlamaIndex, автономного развертывания без сети и автоматического красного тестирования указана только в дорожной карте; покрытие LLM03 заявлено как частичное.
Команды, разрабатывающие и эксплуатирующие LLM-приложения, специалисты по безопасности ИИ, инженеры платформ и владельцы корпоративных систем, которым нужны наблюдение за угрозами, настройка политик и аудит взаимодействий моделей.
Что внутри
- SDK для TypeScript и Node.js с оберткой над асинхронными вызовами LLM
- Обнаружение промпт-инъекций, косвенных инъекций, джейлбрейков и нарушений политик
- Сканирование ответов на персональные данные, учетные данные и попытки извлечения структурированных данных
- Корреляция событий внутри сессий для выявления многошагового давления и повышения доверия
- Анализ поведенческих отклонений относительно базовой линии за заданное окно наблюдения
- Панель реального времени с лентой угроз, повтором сессий, графиками и экспортом журналов аудита
Где применять
- Защита чат-ботов и внутренних помощников от промпт-инъекций и попыток обхода ограничений
- Контроль ответов корпоративных LLM-приложений на предмет утечки персональных данных, ключей и токенов
- Мониторинг систем с вызовами инструментов, где требуется блокировать манипуляции функциями
- Расследование многошаговых атак и аномального поведения по связанным пользовательским сессиям
- Централизованный контроль политик безопасности и оповещений для нескольких инструментированных приложений
Темы