Тематическая подборка

nlp

6 open-source проектов с AI-разборами, метриками и прямыми ссылками на GitHub.

Инструмент для создания и редактирования понятных японских рабочих документов с машинной проверкой неестественных и похожих на машинные формулировок.

🤗 Transformers — фреймворк для определения моделей ML в тексте, vision, аудио и мультимодальных задачах. 1M+ чекпоинтов на HF Hub.

Движок фонетической реконструкции для неизвестных письменностей: превращает символы в IPA-транскрипции через анализ артикуляционных признаков.

Открытый бенчмарк, измеряющий, во сколько токенов обходится один и тот же смысл на разных языках в GPT-4o, Claude, Llama и других моделях.

Библиотека для локального запуска ONNX, GGUF и RubixML-моделей внутри PHP через FFI с чатами, эмбеддингами, RAG и векторным поиском.

Учебный конвейер обучения языковых моделей в PyTorch: токенизация, предобучение, дообучение, DPO, reward-модели и GRPO.