Тематическая подборка
inference-engine
3 open-source проекта с AI-разборами, метриками и прямыми ссылками на GitHub.
012 нед. назад
FareedKhan-dev/kimi-k3-in-c
Портативный движок на C99 запускает инференс Kimi K3 с 2,78 трлн параметров на Linux x86-64 без GPU и внешних фреймворков.
021 янв. 1 г.
antonellof/ferrox
Чистый Rust-движок для запуска плотных и MoE-моделей GGUF на CPU, Apple Metal и CUDA через CLI и OpenAI-совместимый сервер.
031 янв. 1 г.
giannisanni/pulsar
Rust + CUDA-движок потокового инференса MoE-моделей, который хранит экспертов на NVMe и автоматически распределяет внимание и вычисления между GPU.