Conecta un endpoint OpenAI-compatible a LiteLLM
LiteLLM habla OpenAI por defecto. Registra esta pasarela como un OpenAI-compatible provider — una base URL, una clave — y enruta GPT, Claude, Grok, Kimi, GLM y DeepSeek a través de tu configuración existente de LiteLLM.
Esta pasarela como LiteLLM provider frente a cablear cada proveedor
LiteLLM puede hablar con muchos proveedores, pero cada uno necesita sus propias credenciales y configuración. Apuntarlo a una sola pasarela compatible lo reduce todo a una única entrada.
| Esta pasarela en LiteLLM | Cada proveedor en LiteLLM | |
|---|---|---|
| Entradas de proveedor a configurar | Una entrada OpenAI-compatible | Un bloque por proveedor con claves separadas |
| Credenciales a rotar | Una sola clave | Una clave por cada proveedor de origen |
| Enrutado de modelos | Cambia por cadena de modelo bajo una base URL | Mapea cada modelo a la configuración de su proveedor |
| Modelos chinos | Kimi, Qwen, GLM, DeepSeek en la misma entrada | Configuración aparte, algunos sin soporte nativo |
| Facturación | Créditos CNY prepago, sin caducidad | Cada proveedor se factura por separado |
| Peculiaridades nativas del proveedor | Superficie OpenAI común | Soporte completo de parámetros por proveedor |
Para quién es esto
Encaja bien si
- Ya usas LiteLLM (biblioteca o proxy) y quieres menos configuraciones de proveedor
- Quieres una clave y una base URL que cubran modelos de frontera y chinos
- Prefieres rotar una sola credencial en lugar de muchas claves de proveedor
- Quieres créditos prepago en lugar de varias facturas medidas
No encaja si
- Necesitas que LiteLLM pase parámetros nativos del proveedor que esta pasarela no expone
- Debes mantener la facturación directa por proveedor para atribuir costes
- Requieres facturación en USD para compras
- Dependes de un modelo que la pasarela no enruta
Limitaciones honestas
Qué esperar cuando LiteLLM apunta a una pasarela compatible.
- Las funciones específicas de proveedor de LiteLLM solo funcionan si la superficie subyacente las expone; un endpoint compatible cubre los parámetros OpenAI comunes.
- La facturación y los créditos prepago son en CNY; el seguimiento de costes de LiteLLM reflejará los precios de la pasarela, no los del proveedor de origen.
- Los límites de tasa son por clave — configura los reintentos y el backoff de LiteLLM para HTTP 429.
- No publicamos cifras de latencia que no hemos medido. Haz benchmark con tu configuración de LiteLLM antes de comprometerte.
Qué registras en LiteLLM
Los valores concretos para una entrada de OpenAI-compatible provider. Los multiplicadores se aplican sobre una base de 0.4 CNY por 1M de tokens.
El rendimiento y la latencia a través de LiteLLM dependen de tu despliegue y región. No publicamos cifras que no hemos medido — ejecuta tu propio benchmark de LiteLLM contra el endpoint de la documentación.
API compatible con LiteLLM — Preguntas frecuentes
¿Cómo añado esta pasarela a LiteLLM?
Registra un OpenAI-compatible provider con api_base fijado en https://api.llm-token.cn/v1 y tu clave como api_key. Luego referencia los modelos por su cadena de modelo de la pasarela.
¿Funciona tanto con la biblioteca de LiteLLM como con el proxy?
Sí. Cualquier cosa que acepte una OpenAI-compatible base URL y clave funciona — la biblioteca de Python, el servidor proxy y los frameworks que envuelven LiteLLM.
¿Puede LiteLLM enrutar modelos chinos a través de ella?
Sí. Como comparten una OpenAI-compatible base URL, LiteLLM alcanza Kimi, Qwen, GLM y DeepSeek por cadena de modelo sin configurar proveedores aparte.
¿Cómo se rastrea el coste?
LiteLLM rastrea el uso según las tarifas por modelo de la pasarela (un multiplicador fijo sobre una base de 0.4 CNY por 1M de tokens), pagadas con créditos prepago que nunca caducan.
Un LiteLLM provider, todos los modelos
Compra una clave, añade una entrada OpenAI-compatible y enruta todo a través de LiteLLM.