Тематическая подборка
local-llm
7 open-source проектов с AI-разборами, метриками и прямыми ссылками на GitHub.
DasterProkio/awesome-ai-companion
Кураторский индекс open-source проектов для создания долгосрочных AI-компаньонов: интерфейсов, памяти, фоновых процессов, интеграций и аппаратных носителей.
BigStrongSun/ccswitchmulti
Кроссплатформенный Tauri-инструмент для управления провайдерами и маршрутизации запросов Codex между OpenAI, DeepSeek, Qwen, локальными и OpenAI-compatible моделями.
Merrymak3r/wow-llm-personas
Python-прослойка связывает CMaNGOS playerbots с локальным Ollama, добавляя персонажей, память, бантер ботов и очистку ответов без внешних сервисов.
giannisanni/pulsar
Rust + CUDA-движок потокового инференса MoE-моделей, который хранит экспертов на NVMe и автоматически распределяет внимание и вычисления между GPU.
swellweb/reame
CPU-first сервер инференса на llama.cpp с дисковым KV-кэшем, спекулятивным декодированием и OpenAI-совместимым API для недорогих ARM-серверов.
david-g-3654/homebench
Консольный бенчмарк для сравнения локальных LLM по качеству, скорости, задержке и памяти с интерактивной таблицей результатов.
MADEVAL/FerryAI
Библиотека для локального запуска ONNX, GGUF и RubixML-моделей внутри PHP через FFI с чатами, эмбеддингами, RAG и векторным поиском.