Иван Планкин

Все проекты

AI Gateway на Rust

Rust-шлюз, который даёт приложению один знакомый API и сам выбирает, где выполнить запрос к запрошенной модели. Он разделяет изменения аккаунта, живой квоты, сетевого пути и версии сервиса, поэтому приложение получает нужную модель или ясную ошибку без потери контекста сессии.

Что получает приложение
Один знакомый вход в формате OpenAI или Anthropic для запрошенной модели, и отдельная интеграция с каждым провайдером не нужна.
Что меняется внутри
Шлюз выбирает аккаунт после проверки живой квоты, сетевого пути и новой версии сервиса. Недоступная модель обозначается явно и не подменяется другой.
Если маршрута нет
Приложение получает ясную ошибку. Контекст сессии отделён от причины отказа, а открытый поток завершается на начавшей его версии.

Как запрос проходит через шлюз

Без текстов запросов, аккаунтов, ключей, приватного трафика и закрытого исходного кода.

  1. API приложенияПриложение отправляет запрос в формате OpenAI или Anthropic, и отдельная интеграция с провайдером не нужна.
  2. Адаптер провайдераМодель, сообщения, инструменты и потоковые события переводятся в протокол выбранного провайдера.
  3. Где выполнить запросПоддержка модели, доступ аккаунта, квота и закреплённый сетевой путь проверяются вместе.
  4. Продолжение сессииКонтекст сессии сохраняется, а сбои квоты, сети и версии сервиса восстанавливаются разными способами.

Приложение получает один вход

Приложение работает с ним как с обычным API: отправляет знакомый запрос и получает ответ нужной модели тем же способом. Внутри шлюз подбирает провайдера и аккаунт, переводит формат запроса и сохраняет контекст, если условия меняются.

Форматы провайдеров, доступ аккаунтов и живая квота остаются внутри Rust-шлюза. Интеграциям приложения не нужно о них знать.

Путь одного запроса

  • Один вход для приложения: Приложение отправляет привычный запрос OpenAI или Anthropic, не перестраивая интеграцию под каждого провайдера.
  • Перевод запроса: Сообщения, инструменты, параметры рассуждения и потоковые события преобразуются в реальный протокол провайдера, потому что не все API работают одинаково.
  • Где выполнить запрос: До запуска проверяются запрошенная модель, права аккаунта, живая квота и назначенный сетевой путь. Если модель недоступна, шлюз явно сообщает об этом и не подставляет молча другую.
  • Сессия продолжается: Контекст сессии сохраняется между запросами и после рестарта. История инструментов привязана к той же работе, поэтому диалог продолжается с того же места.
  • Долгий ответ и смена версии: Одно только время не обрывает активную генерацию. Новая версия должна завершить реальный ответ модели до перехода нового трафика, а открытые соединения заканчивают работу там, где начались.

Что получает приложение

Один вход
API OpenAI и Anthropic
Выбор места выполнения
модель, доступ и живая квота
Продолжение
сохранённая привязка сессии

Почему обычного прокси для этой задачи недостаточно

Проблема
Слепая пересылка или выбор аккаунта по кругу могут отправить запрос туда, где модель недоступна, потерять связанную сессию и скрыть, что именно отказало: квота, аккаунт, протокол провайдера или сеть.
Решение
Шлюз проверяет, где можно выполнить запрос, переводит его для этого провайдера и отделяет контекст сессии от конкретного сбоя. Восстановление меняет только отказавший участок и оставляет всю интеграцию в рабочем состоянии.
Почему не этот вариант
Отдельный тонкий прокси для каждого провайдера сначала проще, но дублирует интеграцию клиента и разносит состояние аккаунтов, квот и продолжений по разным сервисам.

Что видно по каждому запросу

Выбранный маршрут
Запрошенная и фактическая модель, адаптер провайдера, доступная ёмкость аккаунта и причина, по которой маршрут сейчас недоступен.
История запроса
Первый результат, длительность, финальное завершение и причина восстановления в обезличенном представлении, без публикации приватного текста.
Класс сбоя
Квота, аккаунт, сеть, отказ провайдера и долгое ожидание остаются разными событиями с разными действиями.
Рабочая версия
Кандидат должен завершить реальный ответ на запрошенной модели до перехода новых задач; старые потоки продолжают работу.

Реализация

Шлюз и адаптеры
Rust, Axum, Tokio, OpenAI API, Anthropic API
Состояние и диагностика
PostgreSQL, SQLx, Prometheus, Grafana
Интерфейс и запуск
Leptos, NixOS, systemd, nginx