把這個閘道當 LiteLLM provider 與逐個接入各 provider 比較
LiteLLM 能對接很多 provider，但每個都要各自的憑證和設定。把它指向一個相容閘道，就能把這些收攏成一條設定。
| 在 LiteLLM 裡用這個閘道 | 在 LiteLLM 裡逐個接入 provider | |
|---|---|---|
| 需要設定的 provider 條目 | 一條 OpenAI-compatible 條目 | 每個 provider 一個區塊，各自帶金鑰 |
| 需要輪換的憑證 | 單把金鑰 | 每個上游 provider 一把金鑰 |
| 模型路由 | 在同一個 base URL 下按模型字串切換 | 把每個模型對應到各自 provider 設定 |
| 中國模型 | Kimi、Qwen、GLM、DeepSeek 共用一條條目 | 個別設定，部分原生不支援 |
| 計費 | 預付人民幣額度，永不過期 | 每個 provider 個別計費 |
| provider 原生特性 | 通用的 OpenAI 介面 | 完整支援各 provider 的參數 |
適合誰
適合你，如果你
- 已經在用 LiteLLM（函式庫或代理），想減少 provider 設定
- 想用一把金鑰和一個 base URL 同時涵蓋前沿模型和中國模型
- 更願意輪換單把憑證，而不是一堆 provider 金鑰
- 想用預付額度，而不是好幾份計量帳單
不適合你，如果你
- 需要 LiteLLM 傳遞本閘道沒有公開的 provider 原生參數
- 必須保留逐個 provider 的直接計費以做成本歸因
- 採購環節要求美元開立發票
- 依賴某個本閘道不路由的模型
誠實說明的限制
當 LiteLLM 指向相容閘道時，該有的預期。
- LiteLLM 的 provider 專屬功能只有在底層介面公開時才生效；相容端點涵蓋的是通用的 OpenAI 參數。
- 計費和預付額度以人民幣結算；LiteLLM 的成本追蹤反映的是閘道定價，而非上游廠商定價。
- 速率限制按金鑰計 —— 請為 HTTP 429 設定好 LiteLLM 的重試與退避。
- 我們不會公布未經實測的延遲數字。投入前請在你自己的 LiteLLM 設定裡跑基準測試。
你要在 LiteLLM 裡註冊什麼
一條 OpenAI-compatible provider 條目所需的具體數值。倍率以每 1M token 0.4 CNY 的基準計算。
Base URLhttps://api.llm-token.cn/v1作為 openai-compatible LiteLLM provider 的 api_base 使用。
Chat 端點/v1/chat/completions完整 URL：https://api.llm-token.cn/v1/chat/completions。
驗證標頭Bearer 金鑰Authorization: Bearer sk-your-api-key。
模型12+ 系列GPT、Claude、Grok、Kimi、Qwen、GLM、DeepSeek、MiniMax、MiMo、StepFun。
最低費率0.20 CNY / 1M0.5x 模型，適合廉價、高併發路由。
快取輸入低至 0.1x快取命中按常規每 token 費率的 10% 起計。
經 LiteLLM 的吞吐和延遲取決於你的部署和地區。我們不公布未經實測的數字 —— 請對照文件端點跑你自己的 LiteLLM 基準測試。
相容 LiteLLM 的 API —— 常見問題
我該怎麼把這個閘道加到 LiteLLM？
註冊一個 OpenAI-compatible provider，把 api_base 設為 https://api.llm-token.cn/v1，把你的金鑰作為 api_key。然後用閘道的模型字串引用模型即可。
它在 LiteLLM 函式庫和代理上都能用嗎？
可以。任何接受 OpenAI-compatible base URL 和金鑰的方式都能用 —— Python 函式庫、代理伺服器，以及封裝了 LiteLLM 的各種框架。
LiteLLM 能透過它路由中國模型嗎？
可以。因為它們共用一個 OpenAI-compatible base URL，LiteLLM 按模型字串就能呼叫 Kimi、Qwen、GLM 和 DeepSeek，無需個別設定 provider。
成本怎麼追蹤？
LiteLLM 按閘道的每模型費率（在每 1M token 0.4 CNY 基準上的固定倍率）追蹤用量，從永不過期的預付額度中扣費。
一個 LiteLLM provider，涵蓋所有模型
購買金鑰，新增一條 OpenAI-compatible 條目，把一切都經 LiteLLM 路由。