Новый проект
ninjahawk/Subtext
Subtext в реальном времени показывает «мысли» языковой модели на каждом токене через Jacobian-линзу: что модель планирует сказать до того, как произнесёт.
- Stars
- ★ 238
- Forks
- ⑂ 21
- Язык
- HTML
- Статус
- В канале 8 июл. 2026 г.
AI-разбор
Subtext — это инструмент для наблюдения за вербальным рабочим пространством языковой модели во время диалога. На каждом токене (и при чтении запроса, и при генерации ответа) Jacobian-линза считывает активации на девяти слоях и визуализирует, какие слова модель «готова произнести» прямо сейчас или позже. Позволяет увидеть, как формируются выводы, удерживаются планы и проявляются промежуточные звенья многошаговых рассуждений — на открытой модели Qwen3.5-4B на потребительском железе.
Исследователи интерпретируемости LLM, инженеры по ML, специалисты по alignment и все, кто изучает внутреннюю работу языковых моделей
Что внутри
- Покадровое считывание Jacobian-линзы на 9 слоях модели при чтении и генерации
- Потоковая визуализация в реальном времени через WebSocket без потери скорости генерации
- Per-token журнал и инспектор слов с профилем активации по слоям
- Экспорт сессии в JSON и воспроизведение в браузере без GPU
- Поддержка CUDA, Apple Silicon (MPS) и CPU; валидация против эталонной реализации
Где применять
- Исследования механистической интерпретируемости больших языковых моделей
- Демонстрация того, как модель формирует выводы до их вербализации
- Анализ многошаговых рассуждений и обнаружение скрытых промежуточных звеньев
- Обучение и просвещение в области прозрачности ИИ
Темы