Новый проект
pur4v/p2ptokens
Rust-платформа для peer-to-peer вывода LLM: узлы одновременно обслуживают и используют запросы, обменивая вычислительный ресурс через подписанный баланс.
- Stars
- ★ 28
- Forks
- ⑂ 8
- Язык
- Rust
- Статус
- В канале 1 янв. 1 г.
AI-разбор
p2ptokens распределяет выполнение запросов к языковым моделям между узлами peer-to-peer-сети, где каждый участник может предоставлять собственную модель и получать доступ к вычислениям других. Архитектура объединяет центральный content-blind координатор для регистрации, подбора узлов и учёта баланса с прямой передачей данных между узлами через libp2p, Noise, Yamux, NAT traversal, relay и hole punching. Доступ регулируется отношением загрузки к выгрузке с льготой для новых участников, а взаимные подписанные квитанции фиксируют накопленное число токенов и ограничивают возможность обмана одной порцией данных. Клиент поддерживает локальный Ollama, любые OpenAI-compatible endpoints и Claude, предоставляет совместимый с OpenAI endpoint /v1, веб-панель, потоковые ответы, историю в SQLite и режимы fan-out single, racing, quorum и ensemble. Проект включает отдельные бинарные приложения клиента и координатора, Tauri-оболочку для настольных систем, автоматический failover, ограничения размера входа и вывода, тайм-ауты и повторную регистрацию. Подтверждённые ограничения версии v1: обслуживающий узел видит запросы в открытом виде, отсутствуют TEE, песочница и техническая защита от журналирования, состояние координатора хранится только в памяти, а денежные расчёты и децентрализация координатора отложены.
Разработчики Rust и AI-инфраструктуры, владельцы GPU, команды, создающие частные сети вывода LLM, а также пользователи OpenAI-compatible клиентов, которым нужен self-hosted обмен вычислениями между доверенными или незнакомыми узлами.
Что внутри
- Peer-to-peer обмен потоковыми ответами с единым узлом, который одновременно работает как seeder и leecher.
- Центральный координатор с индексом моделей, подбором провайдеров, учётом barter ratio и обработкой settlement.
- Подписанные co-receipts и heartbeats на базе Ed25519 для подтверждения токенов, идентичности и регистрации узлов.
- OpenAI-compatible endpoint /v1/chat/completions, веб-панель с потоковым выводом, Markdown, подсветкой синтаксиса и локальной SQLite-историей.
- Режимы fan-out single, racing, quorum и ensemble для выбора быстрого, большинства или всех ответов нескольких узлов.
- Поддержка Ollama, Claude и произвольных OpenAI-compatible endpoints, а также NAT traversal, relay, failover и ограничителей нагрузки.
Где применять
- Запуск собственной LLM-инфраструктуры, где участники обмениваются GPU-временем без единого посредника, передающего содержимое запросов.
- Подключение OpenAI-совместимых приложений к распределённым моделям через endpoint /v1 без изменения клиентского кода.
- Организация закрытой корпоративной сети с собственным координатором, секретом подключения, идентификатором сети и брендированной панелью.
- Сравнение ответов нескольких узлов или моделей через режимы racing, quorum и ensemble.
- Развёртывание локального Ollama как провайдера вычислений на настольных компьютерах, серверах или узлах за NAT.
Темы