เสียบ endpoint OpenAI-compatible หนึ่งตัวเข้ากับ LiteLLM
LiteLLM พูดภาษา OpenAI โดยค่าเริ่มต้น ลงทะเบียนเกตเวย์นี้เป็น OpenAI-compatible provider — หนึ่ง base URL หนึ่งคีย์ — แล้วกำหนดเส้นทาง GPT, Claude, Grok, Kimi, GLM และ DeepSeek ผ่านการตั้งค่า LiteLLM ที่คุณมีอยู่
เกตเวย์นี้เป็น LiteLLM provider เทียบกับการต่อแต่ละ provider เอง
LiteLLM คุยกับ provider ได้หลายราย แต่แต่ละรายต้องมีข้อมูลรับรองและการตั้งค่าของตัวเอง การชี้ไปที่เกตเวย์ที่เข้ากันได้เพียงตัวเดียวจะยุบทั้งหมดเหลือเพียงรายการเดียว
| เกตเวย์นี้ใน LiteLLM | แต่ละ provider ใน LiteLLM | |
|---|---|---|
| รายการ provider ที่ต้องตั้งค่า | รายการ OpenAI-compatible หนึ่งรายการ | หนึ่งบล็อกต่อหนึ่ง provider พร้อมคีย์แยกกัน |
| ข้อมูลรับรองที่ต้องหมุนเวียน | คีย์เพียงตัวเดียว | หนึ่งคีย์ต่อหนึ่ง provider ต้นทาง |
| การกำหนดเส้นทางโมเดล | สลับด้วยสตริงโมเดลภายใต้ base URL เดียว | แมปแต่ละโมเดลไปยังการตั้งค่าของ provider |
| โมเดลจีน | Kimi, Qwen, GLM, DeepSeek อยู่ในรายการเดียวกัน | ตั้งค่าแยกกัน บางตัวไม่รองรับโดยตรง |
| การเรียกเก็บเงิน | เครดิต CNY เติมล่วงหน้า ไม่มีวันหมดอายุ | แต่ละ provider เรียกเก็บแยกกัน |
| ลักษณะเฉพาะดั้งเดิมของ provider | พื้นผิว OpenAI ทั่วไป | รองรับพารามิเตอร์ครบถ้วนต่อ provider |
เหมาะกับใคร
เหมาะถ้าคุณ
- ใช้ LiteLLM อยู่แล้ว (ไลบรารีหรือพร็อกซี) และต้องการการตั้งค่า provider ที่น้อยลง
- ต้องการคีย์และ base URL เดียวที่ครอบคลุมทั้งโมเดลล้ำสมัยและโมเดลจีน
- ชอบหมุนเวียนข้อมูลรับรองชุดเดียวมากกว่าคีย์ provider จำนวนมาก
- ต้องการเครดิตเติมล่วงหน้าแทนใบแจ้งหนี้ตามการใช้งานหลายใบ
ไม่เหมาะถ้าคุณ
- ต้องการให้ LiteLLM ส่งพารามิเตอร์ดั้งเดิมของ provider ที่เกตเวย์นี้ไม่เปิดเผย
- ต้องคงการเรียกเก็บเงินโดยตรงต่อ provider เพื่อระบุที่มาของต้นทุน
- ต้องการใบแจ้งหนี้สกุล USD สำหรับการจัดซื้อ
- พึ่งพาโมเดลที่เกตเวย์ไม่ได้กำหนดเส้นทางให้
ข้อจำกัดตามจริง
สิ่งที่คาดหวังได้เมื่อ LiteLLM ชี้ไปยังเกตเวย์ที่เข้ากันได้
- ฟีเจอร์เฉพาะ provider ของ LiteLLM จะทำงานก็ต่อเมื่อพื้นผิวด้านล่างเปิดเผยมันเท่านั้น endpoint ที่เข้ากันได้ครอบคลุมพารามิเตอร์ OpenAI ทั่วไป
- การเรียกเก็บเงินและเครดิตเติมล่วงหน้าเป็นสกุล CNY การติดตามต้นทุนของ LiteLLM จะสะท้อนราคาของเกตเวย์ ไม่ใช่ราคาของผู้ให้บริการต้นทาง
- ขีดจำกัดอัตราเป็นแบบต่อคีย์ — ตั้งค่าการลองใหม่และ backoff ของ LiteLLM สำหรับ HTTP 429
- เราไม่เผยแพร่ตัวเลขความหน่วงที่เราไม่ได้วัด ทำเบนช์มาร์กผ่านการตั้งค่า LiteLLM ของคุณก่อนตัดสินใจ
สิ่งที่คุณลงทะเบียนใน LiteLLM
ค่าที่เป็นรูปธรรมสำหรับรายการ OpenAI-compatible provider ตัวคูณคิดบนฐาน 0.4 CNY ต่อ 1M token
ปริมาณงานและความหน่วงผ่าน LiteLLM ขึ้นอยู่กับการดีพลอยและภูมิภาคของคุณ เราไม่เผยแพร่ตัวเลขที่เราไม่ได้วัด — รันเบนช์มาร์ก LiteLLM ของคุณเองกับ endpoint ในเอกสาร
API ที่เข้ากันได้กับ LiteLLM — คำถามที่พบบ่อย
ฉันจะเพิ่มเกตเวย์นี้เข้า LiteLLM อย่างไร?
ลงทะเบียน OpenAI-compatible provider โดยตั้ง api_base เป็น https://api.llm-token.cn/v1 และใช้คีย์ของคุณเป็น api_key จากนั้นอ้างอิงโมเดลด้วยสตริงโมเดลของเกตเวย์
มันใช้ได้ทั้งกับไลบรารี LiteLLM และพร็อกซีไหม?
ใช้ได้ ทุกอย่างที่รับ OpenAI-compatible base URL และคีย์ก็ใช้ได้ — ไลบรารี Python เซิร์ฟเวอร์พร็อกซี และเฟรมเวิร์กที่ห่อหุ้ม LiteLLM
LiteLLM กำหนดเส้นทางโมเดลจีนผ่านมันได้ไหม?
ได้ เพราะใช้ OpenAI-compatible base URL ร่วมกัน LiteLLM จึงเข้าถึง Kimi, Qwen, GLM และ DeepSeek ด้วยสตริงโมเดลโดยไม่ต้องตั้งค่า provider แยก
ต้นทุนถูกติดตามอย่างไร?
LiteLLM ติดตามการใช้งานตามอัตราต่อโมเดลของเกตเวย์ (ตัวคูณคงที่บนฐาน 0.4 CNY ต่อ 1M token) จ่ายจากเครดิตเติมล่วงหน้าที่ไม่มีวันหมดอายุ
หนึ่ง LiteLLM provider ทุกโมเดล
ซื้อคีย์ เพิ่มรายการ OpenAI-compatible หนึ่งรายการ แล้วกำหนดเส้นทางทุกอย่างผ่าน LiteLLM