AI Gateway на Rust
Rust-шлюз, который даёт приложению один знакомый API и сам выбирает, где выполнить запрос к запрошенной модели. Он разделяет изменения аккаунта, живой квоты, сетевого пути и версии сервиса, поэтому приложение получает нужную модель или ясную ошибку без потери контекста сессии.
- Что получает приложение
- Один знакомый вход в формате OpenAI или Anthropic для запрошенной модели, и отдельная интеграция с каждым провайдером не нужна.
- Что меняется внутри
- Шлюз выбирает аккаунт после проверки живой квоты, сетевого пути и новой версии сервиса. Недоступная модель обозначается явно и не подменяется другой.
- Если маршрута нет
- Приложение получает ясную ошибку. Контекст сессии отделён от причины отказа, а открытый поток завершается на начавшей его версии.
Как запрос проходит через шлюз
Без текстов запросов, аккаунтов, ключей, приватного трафика и закрытого исходного кода.
- API приложенияПриложение отправляет запрос в формате OpenAI или Anthropic, и отдельная интеграция с провайдером не нужна.
- Адаптер провайдераМодель, сообщения, инструменты и потоковые события переводятся в протокол выбранного провайдера.
- Где выполнить запросПоддержка модели, доступ аккаунта, квота и закреплённый сетевой путь проверяются вместе.
- Продолжение сессииКонтекст сессии сохраняется, а сбои квоты, сети и версии сервиса восстанавливаются разными способами.
Приложение получает один вход
Приложение работает с ним как с обычным API: отправляет знакомый запрос и получает ответ нужной модели тем же способом. Внутри шлюз подбирает провайдера и аккаунт, переводит формат запроса и сохраняет контекст, если условия меняются.
Форматы провайдеров, доступ аккаунтов и живая квота остаются внутри Rust-шлюза. Интеграциям приложения не нужно о них знать.
Путь одного запроса
- Один вход для приложения: Приложение отправляет привычный запрос OpenAI или Anthropic, не перестраивая интеграцию под каждого провайдера.
- Перевод запроса: Сообщения, инструменты, параметры рассуждения и потоковые события преобразуются в реальный протокол провайдера, потому что не все API работают одинаково.
- Где выполнить запрос: До запуска проверяются запрошенная модель, права аккаунта, живая квота и назначенный сетевой путь. Если модель недоступна, шлюз явно сообщает об этом и не подставляет молча другую.
- Сессия продолжается: Контекст сессии сохраняется между запросами и после рестарта. История инструментов привязана к той же работе, поэтому диалог продолжается с того же места.
- Долгий ответ и смена версии: Одно только время не обрывает активную генерацию. Новая версия должна завершить реальный ответ модели до перехода нового трафика, а открытые соединения заканчивают работу там, где начались.
Что получает приложение
- Один вход
- API OpenAI и Anthropic
- Выбор места выполнения
- модель, доступ и живая квота
- Продолжение
- сохранённая привязка сессии
Почему обычного прокси для этой задачи недостаточно
- Проблема
- Слепая пересылка или выбор аккаунта по кругу могут отправить запрос туда, где модель недоступна, потерять связанную сессию и скрыть, что именно отказало: квота, аккаунт, протокол провайдера или сеть.
- Решение
- Шлюз проверяет, где можно выполнить запрос, переводит его для этого провайдера и отделяет контекст сессии от конкретного сбоя. Восстановление меняет только отказавший участок и оставляет всю интеграцию в рабочем состоянии.
- Почему не этот вариант
- Отдельный тонкий прокси для каждого провайдера сначала проще, но дублирует интеграцию клиента и разносит состояние аккаунтов, квот и продолжений по разным сервисам.
Что видно по каждому запросу
- Выбранный маршрут
- Запрошенная и фактическая модель, адаптер провайдера, доступная ёмкость аккаунта и причина, по которой маршрут сейчас недоступен.
- История запроса
- Первый результат, длительность, финальное завершение и причина восстановления в обезличенном представлении, без публикации приватного текста.
- Класс сбоя
- Квота, аккаунт, сеть, отказ провайдера и долгое ожидание остаются разными событиями с разными действиями.
- Рабочая версия
- Кандидат должен завершить реальный ответ на запрошенной модели до перехода новых задач; старые потоки продолжают работу.
Реализация
- Шлюз и адаптеры
- Rust, Axum, Tokio, OpenAI API, Anthropic API
- Состояние и диагностика
- PostgreSQL, SQLx, Prometheus, Grafana
- Интерфейс и запуск
- Leptos, NixOS, systemd, nginx