Новый проект

Sudharsanselvaraj/Token-Print

Браузерная платформа для исследования реальных тензоров, архитектуры трансформеров и пошагового выполнения LLM через интерактивную 3D-визуализацию.

Открыть GitHub

Stars: ★ 63
Forks: ⑂ 8
Язык: TypeScript
Статус: В канале 1 янв. 1 г.

AI-разбор

TokenPrint — браузерный 3D-инспектор внутреннего устройства языковых моделей, который показывает реальные тензоры и результаты настоящего прямого прохода. Backend на FastAPI и PyTorch загружает модель Qwen/Qwen2.5-0.5B-Instruct, предоставляет REST- и WebSocket-интерфейсы для анализа, генерации, отладки, трассировки и абляционных экспериментов. Frontend на Next.js, TypeScript и React Three Fiber визуализирует архитектуру, операции внимания и MLP, KV-кэш, токены, логиты, статистику слоёв и формулы, соответствующие обнаруженному семейству модели. Локальные файлы GGUF разбираются в браузере без загрузки на сервер, включая метаданные и значения для сравнения квантований. Генерация выполняется только на полноточных весах PyTorch, а не на квантованных GGUF; заявленные временные показатели являются прокси, а панель сравнения активаций фактически отображает траекторию logit lens, что README отмечает как ограничения.

Кому подойдёт

Разработчики и исследователи машинного обучения, инженеры инференса, специалисты по интерпретируемости моделей, преподаватели и студенты, которым нужно изучать работу трансформеров через реальные данные и воспроизводимые визуальные эксперименты.

Что внутри

3D-карта всех реальных тензоров с поиском, сведениями о формах и типах данных, 2D-сеткой, SVG-топологией и карточкой параметров модели.
Пошаговая потоковая генерация через WebSocket с визуализацией операций по слоям, top-k вероятностями, управлением скоростью, пропуском токенов и отображением фаз pre-fill и decode KV-кэша.
Раздел Walkthrough с главами о токенизации, embedding, RMSNorm, self-attention, MLP и softmax, а также с logit lens и игровым прогнозированием по реальным top-k результатам.
Инженерный отладчик с точками останова, графом операций, поиском аномалий, watch-выражениями, таблицей слоёв, сравнением голов внимания, абляциями и воспроизведением трасс.
Клиентский парсер GGUF с деквантизацией, сравнением распределений значений двух файлов и экспортом сырых данных в NPZ или CSV.
Проверки достоверности данных, записи и воспроизведения трасс, снимки состояния через URL и восстановление после потери WebGL-контекста.

Где применять

Обучение студентов и разработчиков устройству трансформеров на примере реальных тензоров, операций внимания, MLP и KV-кэша.
Исследование поведения локальной языковой модели и визуальная проверка её токенизации, логитов и промежуточных состояний.
Отладка реализации модели или трассы прямого прохода с помощью точек останова, статистики активаций, абляций и повторного воспроизведения.
Сравнение двух GGUF-файлов, их метаданных и распределений деквантизированных значений без отправки моделей на сервер.
Подготовка интерактивных демонстраций архитектуры LLM для технических презентаций, лабораторных занятий и исследовательских обзоров.

Темы

3d gguf-model-support huggingface large-language-models llm open-source threejs transformer-visualization transformers visualization

Что внутри

3D-карта всех реальных тензоров с поиском, сведениями о формах и типах данных, 2D-сеткой, SVG-топологией и карточкой параметров модели.

Пошаговая потоковая генерация через WebSocket с визуализацией операций по слоям, top-k вероятностями, управлением скоростью, пропуском токенов и отображением фаз pre-fill и decode KV-кэша.

Раздел Walkthrough с главами о токенизации, embedding, RMSNorm, self-attention, MLP и softmax, а также с logit lens и игровым прогнозированием по реальным top-k результатам.

Инженерный отладчик с точками останова, графом операций, поиском аномалий, watch-выражениями, таблицей слоёв, сравнением голов внимания, абляциями и воспроизведением трасс.

Клиентский парсер GGUF с деквантизацией, сравнением распределений значений двух файлов и экспортом сырых данных в NPZ или CSV.

Проверки достоверности данных, записи и воспроизведения трасс, снимки состояния через URL и восстановление после потери WebGL-контекста.

Где применять

Обучение студентов и разработчиков устройству трансформеров на примере реальных тензоров, операций внимания, MLP и KV-кэша.

Исследование поведения локальной языковой модели и визуальная проверка её токенизации, логитов и промежуточных состояний.

Отладка реализации модели или трассы прямого прохода с помощью точек останова, статистики активаций, абляций и повторного воспроизведения.

Сравнение двух GGUF-файлов, их метаданных и распределений деквантизированных значений без отправки моделей на сервер.

Подготовка интерактивных демонстраций архитектуры LLM для технических презентаций, лабораторных занятий и исследовательских обзоров.

Что внутри

Где применять

Похожие проекты

Extraltodeus/J-Wash

Tahirpathan-AiLab/Evaan_Personal_Intelligence_Engine

ninjahawk/Subtext

Что внутри

Где применять

Похожие проекты

Extraltodeus/J-Wash

Tahirpathan-AiLab/Evaan_Personal_Intelligence_Engine

ninjahawk/Subtext