Новый проект
khankamraan2006-crypto/fabric-router-core
Распределённый шлюз для LLM с умной маршрутизацией, OAuth и контролем бюджета между провайдерами.
- Stars
- ★ 116
- Forks
- ⑂ 0
- Язык
- HTML
- Статус
- В канале 1 янв. 1 г.
AI-разбор
CloudForge AI — это платформа оркестрации инференса, которая объединяет несколько провайдеров языковых моделей за единым интерфейсом. Шлюз нормализует запросы, выбирает оптимального провайдера по латентности, стоимости и доступной квоте, а также автоматически переключается на резервные эндпоинты при сбоях. Подходит для продакшн-сред, где важны отказоустойчивость, контроль расходов и независимость от конкретного поставщика моделей.
Кому подойдёт
Инженерные команды и платформенные разработчики, строящие продакшн-системы на базе LLM с несколькими провайдерами
Что внутри
- Маршрутизация между провайдерами по латентности, цене и квотам
- OAuth-аутентификация через Droid OAuth с поддержкой M2M и делегирования
- Горячая перезагрузка реестра провайдеров без простоя
- Бюджетные лимиты и автоматический обход дорогих эндпоинтов
- Телеметрия и логирование для Prometheus/Grafana
Где применять
- Единая точка доступа к LLM в мульти-облачной инфраструктуре
- Отказоустойчивые чат-боты с автоматическим фолбэком
- Разделение трафика: дешёвые модели для разработки, дорогие для продакшна
- Аудит и контроль исходящих запросов для соответствия регуляторным требованиям
Темы