Conecte um endpoint OpenAI-compatible ao LiteLLM
O LiteLLM fala OpenAI por padrão. Registre este gateway como um OpenAI-compatible provider — uma base URL, uma chave — e roteie GPT, Claude, Grok, Kimi, GLM e DeepSeek pela sua configuração existente de LiteLLM.
Este gateway como LiteLLM provider vs. ligar cada provedor
O LiteLLM consegue falar com muitos provedores, mas cada um precisa de credenciais e configuração próprias. Apontá-lo para um único gateway compatível reduz tudo isso a uma só entrada.
| Este gateway no LiteLLM | Cada provedor no LiteLLM | |
|---|---|---|
| Entradas de provedor a configurar | Uma entrada OpenAI-compatible | Um bloco por provedor com chaves separadas |
| Credenciais a rotacionar | Uma única chave | Uma chave por provedor upstream |
| Roteamento de modelos | Troca pela string do modelo sob uma base URL | Mapeia cada modelo para a config do seu provedor |
| Modelos chineses | Kimi, Qwen, GLM, DeepSeek na mesma entrada | Configuração separada, alguns sem suporte nativo |
| Cobrança | Créditos CNY pré-pagos, sem expiração | Cada provedor cobrado separadamente |
| Particularidades nativas do provedor | Superfície OpenAI comum | Suporte completo de parâmetros por provedor |
Para quem é isto
Boa escolha se você
- Já usa o LiteLLM (biblioteca ou proxy) e quer menos configs de provedor
- Quer uma chave e uma base URL para cobrir modelos de fronteira e chineses
- Prefere rotacionar uma única credencial a muitas chaves de provedor
- Quer créditos pré-pagos em vez de várias faturas medidas
Não é a escolha certa se você
- Precisa que o LiteLLM passe parâmetros nativos do provedor que este gateway não expõe
- Deve manter a cobrança direta por provedor para atribuição de custos
- Exige faturamento em USD para compras
- Depende de um modelo que o gateway não roteia
Limitações honestas
O que esperar quando o LiteLLM aponta para um gateway compatível.
- Os recursos específicos de provedor do LiteLLM só funcionam se a superfície subjacente os expuser; um endpoint compatível cobre os parâmetros OpenAI comuns.
- Cobrança e créditos pré-pagos são em CNY; o rastreamento de custos do LiteLLM refletirá o preço do gateway, não o do fornecedor upstream.
- Os limites de taxa são por chave — configure as retentativas e o backoff do LiteLLM para HTTP 429.
- Não publicamos números de latência que não medimos. Faça benchmark pela sua configuração de LiteLLM antes de se comprometer.
O que você registra no LiteLLM
Os valores concretos para uma entrada de OpenAI-compatible provider. Os multiplicadores se aplicam sobre uma base de 0.4 CNY por 1M de tokens.
A vazão e a latência pelo LiteLLM dependem da sua implantação e região. Não publicamos números que não medimos — rode seu próprio benchmark de LiteLLM contra o endpoint da documentação.
API compatível com LiteLLM — Perguntas frequentes
Como adiciono este gateway ao LiteLLM?
Registre um OpenAI-compatible provider com api_base definido como https://api.llm-token.cn/v1 e sua chave como api_key. Depois referencie os modelos pela string de modelo do gateway.
Funciona com a biblioteca do LiteLLM e com o proxy?
Sim. Tudo que aceita uma OpenAI-compatible base URL e chave funciona — a biblioteca Python, o servidor proxy e os frameworks que encapsulam o LiteLLM.
O LiteLLM consegue rotear modelos chineses por ele?
Sim. Como compartilham uma OpenAI-compatible base URL, o LiteLLM alcança Kimi, Qwen, GLM e DeepSeek pela string de modelo sem configurar provedores separados.
Como o custo é rastreado?
O LiteLLM rastreia o uso pelas tarifas por modelo do gateway (um multiplicador fixo sobre uma base de 0.4 CNY por 1M de tokens), pago com créditos pré-pagos que nunca expiram.
Um LiteLLM provider, todos os modelos
Compre uma chave, adicione uma entrada OpenAI-compatible e roteie tudo pelo LiteLLM.