Тематическая подборка
llama-cpp
3 open-source проекта с AI-разборами, метриками и прямыми ссылками на GitHub.
011 янв. 1 г.
swellweb/reame
CPU-first сервер инференса на llama.cpp с дисковым KV-кэшем, спекулятивным декодированием и OpenAI-совместимым API для недорогих ARM-серверов.
021 янв. 1 г.
david-g-3654/homebench
Консольный бенчмарк для сравнения локальных LLM по качеству, скорости, задержке и памяти с интерактивной таблицей результатов.
031 янв. 1 г.
MADEVAL/FerryAI
Библиотека для локального запуска ONNX, GGUF и RubixML-моделей внутри PHP через FFI с чатами, эмбеддингами, RAG и векторным поиском.