Тематическая подборка

mixture-of-experts

2 open-source проекта с AI-разборами, метриками и прямыми ссылками на GitHub.

Портативный движок на C99 запускает инференс Kimi K3 с 2,78 трлн параметров на Linux x86-64 без GPU и внешних фреймворков.

Rust + CUDA-движок потокового инференса MoE-моделей, который хранит экспертов на NVMe и автоматически распределяет внимание и вычисления между GPU.