LiteLLM

Tích hợp LiteLLM với CometAPI trong Python: cài đặt, đặt COMETAPI_KEY, và chạy completions, lệnh gọi async, cùng streaming với các model cometapi.

LiteLLM cung cấp một API Python thống nhất cho hơn 100 nhà cung cấp LLM. CometAPI được hỗ trợ nguyên bản — sử dụng tiền tố cometapi/ để định tuyến các request thông qua danh mục model của CometAPI.

​

Điều kiện tiên quyết

• Python 3.6+
• Một tài khoản CometAPI với API key đang hoạt động — lấy tại đây

1. Cài đặt LiteLLM

   pip install litellm
   
2. Đặt API key của bạn

   Đặt API key dưới dạng biến môi trường (khuyến nghị) hoặc truyền trực tiếp inline:

   import os
   from litellm import completion
   
   # Recommended: environment variable
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   
   # Alternative: pass inline
   api_key = "<COMETAPI_KEY>"
   

   Sử dụng biến môi trường để tránh hardcode thông tin xác thực nhạy cảm trong script của bạn.

3. Thực hiện lệnh gọi completion

   Sử dụng định dạng cometapi/<model-name> để chỉ định model. Bạn có thể truyền key qua biến môi trường hoặc chỉ định tường minh:

   messages = [{"content": "Hello, how are you?", "role": "user"}]
   
   # Method 1: environment variable (recommended)
   response = completion(model="cometapi/your-model-id", messages=messages)
   
   # Method 2: explicit API key
   response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)
   
   print(response.choices[0].message.content)
   
4. Lệnh gọi async và Streaming

   Sử dụng acompletion với stream=True để nhận phản hồi theo thời gian thực, không chặn:

   from litellm import acompletion
   import asyncio, traceback
   
   async def stream_call():
       try:
           response = await acompletion(
         model="cometapi/your-model-id",
               messages=[{"content": "Hello, how are you?", "role": "user"}],
               stream=True,
           )
           async for chunk in response:
               print(chunk)
       except Exception:
           print(f"Error: {traceback.format_exc()}")
   
   asyncio.run(stream_call())
   

Mẹo và khắc phục sự cố

• Định dạng model: Các model của CometAPI sử dụng tiền tố cometapi/<model-name>, ví dụ cometapi/your-model-id. Xem trang CometAPI Models để biết các model khả dụng.
• Tinh chỉnh phản hồi: LiteLLM hỗ trợ temperature, max_tokens, và top_p — thêm chúng vào bất kỳ lệnh gọi completion() nào, ví dụ completion(..., temperature=0.7).
• Xử lý lỗi: Bọc các lệnh gọi trong try/except để bắt lỗi key không hợp lệ hoặc sự cố mạng.
• Bảo mật: Không bao giờ commit API key vào hệ thống quản lý phiên bản. Hãy dùng biến môi trường hoặc trình quản lý secrets.
• Giới hạn tần suất: Theo dõi mức sử dụng trong CometAPI console.
• Tài liệu thêm: tài liệu LiteLLM — bắt đầu nhanh với CometAPI