Тематическая подборка
gguf
3 open-source проекта с AI-разборами, метриками и прямыми ссылками на GitHub.
011 янв. 1 г.
giannisanni/pulsar
Rust + CUDA-движок потокового инференса MoE-моделей, который хранит экспертов на NVMe и автоматически распределяет внимание и вычисления между GPU.
021 янв. 1 г.
swellweb/reame
CPU-first сервер инференса на llama.cpp с дисковым KV-кэшем, спекулятивным декодированием и OpenAI-совместимым API для недорогих ARM-серверов.
031 янв. 1 г.
MADEVAL/FerryAI
Библиотека для локального запуска ONNX, GGUF и RubixML-моделей внутри PHP через FFI с чатами, эмбеддингами, RAG и векторным поиском.