Branchez un endpoint OpenAI-compatible sur LiteLLM
LiteLLM parle OpenAI par défaut. Enregistrez cette passerelle comme un OpenAI-compatible provider — une base URL, une clé — et routez GPT, Claude, Grok, Kimi, GLM et DeepSeek via votre configuration LiteLLM existante.
Cette passerelle comme LiteLLM provider vs. câbler chaque fournisseur
LiteLLM peut dialoguer avec de nombreux fournisseurs, mais chacun exige ses propres identifiants et sa propre config. Le pointer vers une seule passerelle compatible réduit tout cela à une unique entrée.
| Cette passerelle dans LiteLLM | Chaque fournisseur dans LiteLLM | |
|---|---|---|
| Entrées de fournisseur à configurer | Une entrée OpenAI-compatible | Un bloc par fournisseur avec des clés distinctes |
| Identifiants à faire tourner | Une seule clé | Une clé par fournisseur en amont |
| Routage des modèles | Bascule par chaîne de modèle sous une base URL | Mappe chaque modèle à la config de son fournisseur |
| Modèles chinois | Kimi, Qwen, GLM, DeepSeek sur la même entrée | Configuration séparée, certains non pris en charge nativement |
| Facturation | Crédits CNY prépayés, sans expiration | Chaque fournisseur facturé séparément |
| Spécificités natives du fournisseur | Surface OpenAI commune | Prise en charge complète des paramètres par fournisseur |
À qui cela s'adresse
Cela vous convient si vous
- Utilisez déjà LiteLLM (bibliothèque ou proxy) et voulez moins de configs de fournisseur
- Voulez une clé et une base URL couvrant les modèles de pointe et chinois
- Préférez faire tourner un seul identifiant plutôt que de nombreuses clés de fournisseur
- Voulez des crédits prépayés plutôt que plusieurs factures à l'usage
Cela ne vous convient pas si vous
- Avez besoin que LiteLLM transmette des paramètres natifs du fournisseur que cette passerelle n'expose pas
- Devez conserver une facturation directe par fournisseur pour l'attribution des coûts
- Exigez une facturation en USD pour les achats
- Dépendez d'un modèle que la passerelle ne route pas
Limites honnêtes
À quoi s'attendre quand LiteLLM pointe vers une passerelle compatible.
- Les fonctions propres au fournisseur de LiteLLM ne marchent que si la surface sous-jacente les expose ; un endpoint compatible couvre les paramètres OpenAI courants.
- La facturation et les crédits prépayés sont en CNY ; le suivi des coûts de LiteLLM reflétera le tarif de la passerelle, pas celui du fournisseur en amont.
- Les limites de débit sont par clé — configurez les nouvelles tentatives et le backoff de LiteLLM pour HTTP 429.
- Nous ne publions pas de chiffres de latence non mesurés. Faites un benchmark via votre configuration LiteLLM avant de vous engager.
Ce que vous enregistrez dans LiteLLM
Les valeurs concrètes pour une entrée de OpenAI-compatible provider. Les multiplicateurs s'appliquent sur une base de 0.4 CNY par 1M de tokens.
Le débit et la latence via LiteLLM dépendent de votre déploiement et de votre région. Nous ne publions pas de chiffres non mesurés — lancez votre propre benchmark LiteLLM sur l'endpoint de la documentation.
API compatible LiteLLM — FAQ
Comment ajouter cette passerelle à LiteLLM ?
Enregistrez un OpenAI-compatible provider avec api_base réglé sur https://api.llm-token.cn/v1 et votre clé comme api_key. Référencez ensuite les modèles par leur chaîne de modèle de la passerelle.
Cela fonctionne-t-il avec la bibliothèque LiteLLM comme avec le proxy ?
Oui. Tout ce qui accepte une OpenAI-compatible base URL et une clé fonctionne — la bibliothèque Python, le serveur proxy et les frameworks qui encapsulent LiteLLM.
LiteLLM peut-il router des modèles chinois via elle ?
Oui. Comme ils partagent une OpenAI-compatible base URL, LiteLLM atteint Kimi, Qwen, GLM et DeepSeek par chaîne de modèle sans config de fournisseur distincte.
Comment le coût est-il suivi ?
LiteLLM suit l'usage selon les tarifs par modèle de la passerelle (un multiplicateur fixe sur une base de 0.4 CNY par 1M de tokens), payés sur des crédits prépayés qui n'expirent jamais.
Un LiteLLM provider, tous les modèles
Achetez une clé, ajoutez une entrée OpenAI-compatible et routez tout via LiteLLM.