Тематическая подборка
moe
5 open-source проектов с AI-разборами, метриками и прямыми ссылками на GitHub.
vllm-project/vllm
vLLM — высокопроизводительный и экономичный по памяти движок инференса и обслуживания больших языковых моделей с поддержкой 200+ архитектур.
FareedKhan-dev/kimi-k3-in-c
Портативный движок на C99 запускает инференс Kimi K3 с 2,78 трлн параметров на Linux x86-64 без GPU и внешних фреймворков.
zeraix/zeraix
Открытое настольное приложение для запуска локальных моделей, работы с файлами, инструментами и агентами на macOS и Windows.
giannisanni/pulsar
Rust + CUDA-движок потокового инференса MoE-моделей, который хранит экспертов на NVMe и автоматически распределяет внимание и вычисления между GPU.
kyegomez/Latent-MoE
Однофайловый слой PyTorch, который переносит экспертов MoE в латентное пространство, снижая коммуникационные и параметрические затраты.