Новый проект
Extraltodeus/J-Wash
Локальная студия для анализа LLM через Jacobian lens, редактирования направлений токенов и экспорта изменённой модели в стандартных форматах.
- Stars
- ★ 224 ↗ +8 за 7 дней
- Forks
- ⑂ 22
- Язык
- Python
- Статус
- В канале 1 янв. 1 г.
AI-разбор
J-Wash — локальное веб-приложение для исследования и ручного изменения идентичности и поведения больших языковых моделей из Hugging Face без обучения, датасетов и тонкой настройки. Система объединяет FastAPI-бэкенд, React-интерфейс, библиотеку Anthropic Jacobian lens и движок редактирования весов, который показывает вклад слоёв в реальном времени во время диалога. Пользователь может закреплять и анализировать токены, просматривать частотные представления, тепловые карты и активации по слоям, а затем создавать правила умножения или замены токеновых направлений. Изменения экспортируются как полный checkpoint, набор модифицированных слоёв, LoRA или, при наличии llama.cpp, GGUF с возможным квантованием. Проект поддерживает загрузку совместимых предварительно обученных линз, локальное обучение собственных линз на датасетах Hugging Face, сохранение диалогов в SQLite и управление через веб-интерфейс или CLI. Требуется NVIDIA GPU с CUDA, Python 3.11+ и Node.js 18+; квантованные веса не поддерживают интервенции и считывание линз, а прямую загрузку GGUF-моделей проект не поддерживает.
Исследователи и разработчики, знакомые с Python, PyTorch, Hugging Face Transformers и локальным запуском LLM на NVIDIA GPU; проект рассчитан на эксперименты с интерпретируемостью и ручным редактированием моделей.
Что внутри
- Чат с выбранной Hugging Face-моделью и отображением Jacobian lens для каждого слоя и сгенерированного токена.
- Анализ токенов через частотные представления, тепловые карты, графики рангов и активации по слоям.
- Редактор правил для умножения, ослабления, усиления и замены направлений токенов с выбором диапазонов слоёв.
- Режимы per-layer steering, read projection и Global projection для просмотра и подготовки экспортируемых изменений.
- Экспорт отредактированных моделей в полный checkpoint, safetensors-слои, LoRA и при настройке llama.cpp — GGUF.
- Веб-интерфейс, FastAPI REST/WebSocket API, CLI-клиент, SQLite-хранилище диалогов и локальное обучение собственных линз.
Где применять
- Исследователям интерпретируемости — для изучения того, какие токены и слои связаны с поведением языковой модели.
- Разработчикам моделей — для ручного тестирования изменений идентичности, стиля или отдельных поведенческих направлений без обучения.
- Инженерам, работающим с Hugging Face, — для создания экспортируемого checkpoint или LoRA с воспроизводимым редактированием весов.
- Экспериментаторам с локальными LLM — для анализа диалогов, проверки изменений через контрольные вопросы и последующего преобразования модели в GGUF.
Темы