Подключите один OpenAI-compatible эндпоинт к LiteLLM
LiteLLM по умолчанию говорит на языке OpenAI. Зарегистрируйте этот шлюз как OpenAI-compatible provider — один base URL, один ключ — и маршрутизируйте GPT, Claude, Grok, Kimi, GLM и DeepSeek через вашу существующую настройку LiteLLM.
Этот шлюз как LiteLLM provider против подключения каждого провайдера
LiteLLM умеет общаться со многими провайдерами, но каждому нужны свои учётные данные и конфигурация. Указав его на один совместимый шлюз, вы сводите всё это к одной записи.
| Этот шлюз в LiteLLM | Каждый провайдер отдельно в LiteLLM | |
|---|---|---|
| Записи провайдеров для настройки | Одна OpenAI-compatible запись | Отдельный блок на провайдера с разными ключами |
| Учётные данные для ротации | Один ключ | Ключ на каждого вышестоящего провайдера |
| Маршрутизация моделей | Переключение по строке модели в рамках одного base URL | Сопоставление каждой модели с конфигом её провайдера |
| Китайские модели | Kimi, Qwen, GLM, DeepSeek в одной записи | Отдельная настройка, часть не поддерживается нативно |
| Оплата | Предоплаченные кредиты в CNY, без срока действия | Каждый провайдер выставляет счёт отдельно |
| Нативные особенности провайдеров | Общая поверхность OpenAI | Полная поддержка параметров каждого провайдера |
Кому это подходит
Подходит, если вы
- Уже используете LiteLLM (библиотеку или прокси) и хотите меньше конфигов провайдеров
- Хотите один ключ и base URL для передовых и китайских моделей
- Предпочитаете ротацию одного ключа множеству ключей провайдеров
- Хотите предоплаченные кредиты вместо нескольких счётчиковых счетов
Не подходит, если вы
- Нуждаетесь, чтобы LiteLLM передавал нативные параметры провайдера, которые этот шлюз не предоставляет
- Обязаны сохранить прямую оплату по каждому провайдеру для распределения затрат
- Требуете выставления счетов в USD для закупок
- Зависите от модели, которую шлюз не маршрутизирует
Честные ограничения
Чего ожидать, когда LiteLLM указывает на совместимый шлюз.
- Специфичные для провайдера функции LiteLLM работают только если их предоставляет нижележащая поверхность; совместимый эндпоинт покрывает общие параметры OpenAI.
- Оплата и предоплаченные кредиты в CNY; учёт затрат в LiteLLM отразит цены шлюза, а не цены вышестоящего вендора.
- Лимиты скорости — на ключ. Настройте повторы и backoff в LiteLLM для HTTP 429.
- Мы не публикуем показатели задержки, которые не измеряли. Прогоните бенчмарк через вашу настройку LiteLLM, прежде чем принимать решение.
Что вы регистрируете в LiteLLM
Конкретные значения для записи OpenAI-compatible provider. Множители применяются к базе 0.4 CNY за 1M токенов.
Пропускная способность и задержка через LiteLLM зависят от вашего развёртывания и региона. Мы не публикуем неизмеренные цифры — прогоните собственный бенчмарк LiteLLM по эндпоинту из документации.
API, совместимый с LiteLLM — FAQ
Как добавить этот шлюз в LiteLLM?
Зарегистрируйте OpenAI-compatible provider с api_base, равным https://api.llm-token.cn/v1, и вашим ключом в качестве api_key. Затем ссылайтесь на модели по их строке модели в шлюзе.
Работает ли это и с библиотекой LiteLLM, и с прокси?
Да. Всё, что принимает OpenAI-compatible base URL и ключ, работает — Python-библиотека, прокси-сервер и фреймворки, оборачивающие LiteLLM.
Может ли LiteLLM маршрутизировать китайские модели через него?
Да. Поскольку они используют один OpenAI-compatible base URL, LiteLLM достигает Kimi, Qwen, GLM и DeepSeek по строке модели без отдельной настройки провайдера.
Как отслеживаются затраты?
LiteLLM отслеживает использование по ставкам шлюза для каждой модели (фиксированный множитель на базе 0.4 CNY за 1M токенов), оплачиваемым из предоплаченных кредитов, которые никогда не истекают.
Один LiteLLM provider, все модели
Купите ключ, добавьте одну OpenAI-compatible запись и маршрутизируйте всё через LiteLLM.