Тематическая подборка
inference-optimization
2 open-source проекта с AI-разборами, метриками и прямыми ссылками на GitHub.
011 янв. 1 г.
RightNow-AI/auto
Rust-компилятор записывает поведение LLM-агентов, извлекает повторяемую логику и выпускает проверенные WebAssembly-артефакты с защищённым исполнением.
021 янв. 1 г.
amitshekhariitbhu/llm-inference-engineering
Learn LLM Inference Engineering step by step - from KV cache, PagedAttention, and continuous batching to vLLM, SGLang, and GPUs.