Pasang satu endpoint OpenAI-compatible ke dalam LiteLLM
LiteLLM bertutur OpenAI secara lalai. Daftarkan gateway ini sebagai OpenAI-compatible provider — satu base URL, satu kunci — dan halakan GPT, Claude, Grok, Kimi, GLM dan DeepSeek melalui persediaan LiteLLM sedia ada anda.
Gateway ini sebagai LiteLLM provider berbanding menyambung setiap penyedia
LiteLLM boleh bercakap dengan banyak penyedia, tetapi setiap satu memerlukan kelayakan dan konfigurasinya sendiri. Menghalakannya ke satu gateway serasi memendekkan semua itu kepada satu entri sahaja.
| Gateway ini dalam LiteLLM | Setiap penyedia dalam LiteLLM | |
|---|---|---|
| Entri penyedia untuk dikonfigurasi | Satu entri OpenAI-compatible | Satu blok bagi setiap penyedia dengan kunci berasingan |
| Kelayakan untuk diputar | Satu kunci sahaja | Satu kunci bagi setiap penyedia huluan |
| Penghalaan model | Tukar mengikut rentetan model di bawah satu base URL | Petakan setiap model ke konfigurasi penyedianya |
| Model Cina | Kimi, Qwen, GLM, DeepSeek pada entri yang sama | Persediaan berasingan, sebahagian tidak disokong secara asli |
| Pengebilan | Kredit CNY prabayar, tiada tarikh luput | Setiap penyedia dibilkan secara berasingan |
| Keanehan asli penyedia | Permukaan OpenAI biasa | Sokongan parameter penuh bagi setiap penyedia |
Untuk siapa ini
Sesuai jika anda
- Sudah menjalankan LiteLLM (perpustakaan atau proksi) dan mahu konfigurasi penyedia yang lebih sedikit
- Mahu satu kunci dan base URL yang merangkumi model termaju dan model Cina
- Lebih suka memutar satu kelayakan daripada banyak kunci penyedia
- Mahu kredit prabayar dan bukannya beberapa bil bermeter
Tidak sesuai jika anda
- Memerlukan LiteLLM menghantar parameter asli penyedia yang tidak didedahkan oleh gateway ini
- Mesti mengekalkan pengebilan terus bagi setiap penyedia untuk pengagihan kos
- Memerlukan invois USD untuk perolehan
- Bergantung pada model yang tidak dihalakan oleh gateway
Batasan yang jujur
Apa yang boleh dijangka apabila LiteLLM menghala ke gateway serasi.
- Ciri khusus penyedia LiteLLM hanya berfungsi jika permukaan asas mendedahkannya; endpoint serasi merangkumi parameter OpenAI yang biasa.
- Pengebilan dan kredit prabayar adalah dalam CNY; penjejakan kos LiteLLM akan mencerminkan harga gateway, bukan harga vendor huluan.
- Had kadar adalah bagi setiap kunci — konfigurasikan percubaan semula dan backoff LiteLLM untuk HTTP 429.
- Kami tidak menerbitkan angka latensi yang belum kami ukur. Buat penanda aras melalui persediaan LiteLLM anda sebelum membuat komitmen.
Apa yang anda daftarkan dalam LiteLLM
Nilai konkrit untuk satu entri OpenAI-compatible provider. Pengganda dikenakan pada asas 0.4 CNY bagi setiap 1M token.
Throughput dan latensi melalui LiteLLM bergantung pada penggunaan dan rantau anda. Kami tidak menerbitkan angka yang belum kami ukur — jalankan penanda aras LiteLLM anda sendiri terhadap endpoint dalam dokumentasi.
API serasi LiteLLM — Soalan Lazim
Bagaimana saya menambah gateway ini ke LiteLLM?
Daftarkan OpenAI-compatible provider dengan api_base ditetapkan kepada https://api.llm-token.cn/v1 dan kunci anda sebagai api_key. Kemudian rujuk model mengikut rentetan model gateway.
Adakah ia berfungsi dengan kedua-dua perpustakaan LiteLLM dan proksi?
Ya. Apa sahaja yang menerima OpenAI-compatible base URL dan kunci akan berfungsi — perpustakaan Python, pelayan proksi, dan rangka kerja yang membungkus LiteLLM.
Bolehkah LiteLLM menghalakan model Cina melaluinya?
Ya. Kerana ia berkongsi satu OpenAI-compatible base URL, LiteLLM mencapai Kimi, Qwen, GLM dan DeepSeek mengikut rentetan model tanpa persediaan penyedia berasingan.
Bagaimana kos dijejaki?
LiteLLM menjejak penggunaan terhadap kadar setiap model gateway (pengganda tetap pada asas 0.4 CNY bagi setiap 1M token), dibayar daripada kredit prabayar yang tidak pernah luput.
Satu LiteLLM provider, setiap model
Beli kunci, tambah satu entri OpenAI-compatible, dan halakan semuanya melalui LiteLLM.