把这个网关当 LiteLLM provider 与逐个接入各 provider 对比
LiteLLM 能对接很多 provider，但每个都要单独的凭据和配置。把它指向一个兼容网关，就能把这些收拢成一条配置。
| 在 LiteLLM 里用这个网关 | 在 LiteLLM 里逐个接入 provider | |
|---|---|---|
| 需要配置的 provider 条目 | 一条 OpenAI-compatible 条目 | 每个 provider 一个区块，各自带密钥 |
| 需要轮换的凭据 | 单把密钥 | 每个上游 provider 一把密钥 |
| 模型路由 | 在同一个 base URL 下按模型字符串切换 | 把每个模型映射到对应 provider 配置 |
| 国产模型 | Kimi、Qwen、GLM、DeepSeek 共用一条条目 | 单独配置，部分原生不支持 |
| 计费 | 预付人民币额度，永不过期 | 每个 provider 单独计费 |
| provider 原生特性 | 通用的 OpenAI 接口 | 完整支持各 provider 的参数 |
适合谁
适合你，如果你
- 已经在用 LiteLLM（库或代理），想减少 provider 配置
- 想用一把密钥和一个 base URL 同时覆盖前沿模型和国产模型
- 更愿意轮换单把凭据，而不是一堆 provider 密钥
- 想用预付额度，而不是好几份计量账单
不适合你，如果你
- 需要 LiteLLM 传递本网关没有暴露的 provider 原生参数
- 必须保留逐个 provider 的直接计费以做成本归因
- 采购环节要求美元开票
- 依赖某个本网关不路由的模型
如实说明的限制
当 LiteLLM 指向兼容网关时，该有的预期。
- LiteLLM 的 provider 专属功能只有在底层接口暴露时才生效；兼容端点覆盖的是通用的 OpenAI 参数。
- 计费和预付额度以人民币结算；LiteLLM 的成本跟踪反映的是网关定价，而非上游厂商定价。
- 速率限制按密钥计 —— 请为 HTTP 429 配置好 LiteLLM 的重试与退避。
- 我们不会公布未经实测的延迟数字。投入前请在你自己的 LiteLLM 配置里跑基准测试。
你要在 LiteLLM 里注册什么
一条 OpenAI-compatible provider 条目所需的具体取值。倍率基于每 1M token 0.4 CNY 的基准。
Base URLhttps://api.llm-token.cn/v1作为 openai-compatible LiteLLM provider 的 api_base 使用。
Chat 端点/v1/chat/completions完整 URL：https://api.llm-token.cn/v1/chat/completions。
鉴权头Bearer 密钥Authorization: Bearer sk-your-api-key。
模型12+ 系列GPT、Claude、Grok、Kimi、Qwen、GLM、DeepSeek、MiniMax、MiMo、StepFun。
最低费率0.20 CNY / 1M0.5x 模型，适合廉价、高并发路由。
缓存输入低至 0.1x缓存命中按常规每 token 费率的 10% 起计。
经 LiteLLM 的吞吐和延迟取决于你的部署和地区。我们不公布未经实测的数字 —— 请对照文档端点跑你自己的 LiteLLM 基准测试。
兼容 LiteLLM 的 API —— 常见问题
我该怎么把这个网关加到 LiteLLM？
注册一个 OpenAI-compatible provider，把 api_base 设为 https://api.llm-token.cn/v1，把你的密钥作为 api_key。然后用网关的模型字符串引用模型即可。
它在 LiteLLM 库和代理上都能用吗？
可以。任何接受 OpenAI-compatible base URL 和密钥的方式都能用 —— Python 库、代理服务器，以及封装了 LiteLLM 的各种框架。
LiteLLM 能通过它路由国产模型吗？
可以。因为它们共用一个 OpenAI-compatible base URL，LiteLLM 按模型字符串就能调用 Kimi、Qwen、GLM 和 DeepSeek，无需单独配置 provider。
成本怎么跟踪？
LiteLLM 按网关的每模型费率（在每 1M token 0.4 CNY 基准上的固定倍率）跟踪用量，从永不过期的预付额度中扣费。
一个 LiteLLM provider，覆盖所有模型
购买密钥，添加一条 OpenAI-compatible 条目，把一切都经 LiteLLM 路由。