Cắm một endpoint OpenAI-compatible vào LiteLLM
LiteLLM mặc định nói chuyện theo chuẩn OpenAI. Đăng ký cổng này như một OpenAI-compatible provider — một base URL, một khóa — và định tuyến GPT, Claude, Grok, Kimi, GLM và DeepSeek qua cấu hình LiteLLM sẵn có của bạn.
Cổng này làm LiteLLM provider so với đấu nối từng provider
LiteLLM có thể nói chuyện với nhiều provider, nhưng mỗi cái cần thông tin xác thực và cấu hình riêng. Trỏ nó vào một cổng tương thích sẽ gói gọn tất cả thành một mục duy nhất.
| Cổng này trong LiteLLM | Từng provider trong LiteLLM | |
|---|---|---|
| Mục provider cần cấu hình | Một mục OpenAI-compatible | Một khối cho mỗi provider với khóa riêng |
| Thông tin xác thực cần xoay vòng | Một khóa duy nhất | Một khóa cho mỗi provider thượng nguồn |
| Định tuyến mô hình | Đổi theo chuỗi mô hình dưới một base URL | Ánh xạ từng mô hình tới cấu hình provider của nó |
| Mô hình Trung Quốc | Kimi, Qwen, GLM, DeepSeek trên cùng một mục | Cấu hình riêng, một số không hỗ trợ gốc |
| Thanh toán | Tín dụng CNY trả trước, không hết hạn | Mỗi provider tính phí riêng |
| Đặc thù gốc của provider | Bề mặt OpenAI chung | Hỗ trợ đầy đủ tham số của từng provider |
Dành cho ai
Phù hợp nếu bạn
- Đã chạy LiteLLM (thư viện hoặc proxy) và muốn ít cấu hình provider hơn
- Muốn một khóa và base URL bao trùm cả mô hình tiên tiến lẫn mô hình Trung Quốc
- Thích xoay vòng một thông tin xác thực hơn là nhiều khóa provider
- Muốn tín dụng trả trước thay vì nhiều hóa đơn tính theo lượng dùng
Không phù hợp nếu bạn
- Cần LiteLLM truyền các tham số gốc của provider mà cổng này không phơi bày
- Phải giữ thanh toán trực tiếp theo từng provider để phân bổ chi phí
- Yêu cầu xuất hóa đơn USD cho mua sắm
- Phụ thuộc vào một mô hình mà cổng không định tuyến
Giới hạn thẳng thắn
Những gì cần kỳ vọng khi LiteLLM trỏ vào một cổng tương thích.
- Tính năng riêng theo provider của LiteLLM chỉ hoạt động nếu bề mặt bên dưới phơi bày chúng; endpoint tương thích bao phủ các tham số OpenAI thông dụng.
- Thanh toán và tín dụng trả trước tính bằng CNY; theo dõi chi phí của LiteLLM sẽ phản ánh giá của cổng, không phải giá của nhà cung cấp thượng nguồn.
- Giới hạn tốc độ tính theo khóa — hãy cấu hình thử lại và backoff của LiteLLM cho HTTP 429.
- Chúng tôi không công bố các con số độ trễ chưa đo. Hãy chạy benchmark qua cấu hình LiteLLM của bạn trước khi cam kết.
Những gì bạn đăng ký trong LiteLLM
Các giá trị cụ thể cho một mục OpenAI-compatible provider. Hệ số nhân áp dụng trên mức nền 0.4 CNY mỗi 1M token.
Thông lượng và độ trễ qua LiteLLM phụ thuộc vào cách triển khai và khu vực của bạn. Chúng tôi không công bố con số chưa đo — hãy chạy benchmark LiteLLM của riêng bạn trên endpoint trong tài liệu.
API tương thích LiteLLM — Hỏi đáp
Làm sao thêm cổng này vào LiteLLM?
Đăng ký một OpenAI-compatible provider với api_base đặt thành https://api.llm-token.cn/v1 và khóa của bạn làm api_key. Sau đó tham chiếu mô hình bằng chuỗi mô hình của cổng.
Nó có hoạt động với cả thư viện LiteLLM lẫn proxy không?
Có. Bất cứ thứ gì chấp nhận một OpenAI-compatible base URL và khóa đều dùng được — thư viện Python, máy chủ proxy, và các framework bao bọc LiteLLM.
LiteLLM có định tuyến mô hình Trung Quốc qua nó được không?
Có. Vì chúng dùng chung một OpenAI-compatible base URL, LiteLLM tiếp cận Kimi, Qwen, GLM và DeepSeek theo chuỗi mô hình mà không cần cấu hình provider riêng.
Chi phí được theo dõi thế nào?
LiteLLM theo dõi mức dùng theo giá mỗi mô hình của cổng (một hệ số nhân cố định trên nền 0.4 CNY mỗi 1M token), trả từ tín dụng trả trước không bao giờ hết hạn.
Một LiteLLM provider, mọi mô hình
Mua khóa, thêm một mục OpenAI-compatible, và định tuyến mọi thứ qua LiteLLM.