LiteLLM

Інтегруйте LiteLLM з CometAPI у Python: встановіть, задайте COMETAPI_KEY і запускайте completions, async виклики та streaming з моделями cometapi.

LiteLLM надає уніфікований Python API для понад 100 провайдерів LLM. CometAPI підтримується нативно — використовуйте префікс cometapi/ для маршрутизації запитів через каталог моделей CometAPI.

​

Передумови

• Python 3.6+
• Обліковий запис CometAPI з активним API ключем — отримайте його тут

1. Install LiteLLM

   pip install litellm
   
2. Set your API key

   Задайте API ключ як змінну середовища (рекомендовано) або передайте його безпосередньо:

   import os
   from litellm import completion
   
   # Recommended: environment variable
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   
   # Alternative: pass inline
   api_key = "<COMETAPI_KEY>"
   

   Використовуйте змінні середовища, щоб уникнути жорсткого кодування чутливих облікових даних у ваших скриптах.

3. Make a completion call

   Використовуйте формат cometapi/<model-name> для вказання моделей. Ви можете передати ключ через змінну середовища або явно:

   messages = [{"content": "Hello, how are you?", "role": "user"}]
   
   # Method 1: environment variable (recommended)
   response = completion(model="cometapi/your-model-id", messages=messages)
   
   # Method 2: explicit API key
   response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)
   
   print(response.choices[0].message.content)
   
4. Async and streaming calls

   Використовуйте acompletion з stream=True для неблокуючих відповідей у реальному часі:

   from litellm import acompletion
   import asyncio, traceback
   
   async def stream_call():
       try:
           response = await acompletion(
         model="cometapi/your-model-id",
               messages=[{"content": "Hello, how are you?", "role": "user"}],
               stream=True,
           )
           async for chunk in response:
               print(chunk)
       except Exception:
           print(f"Error: {traceback.format_exc()}")
   
   asyncio.run(stream_call())
   

Tips and troubleshooting

• Формат моделі: Моделі CometAPI використовують префікс cometapi/<model-name>, наприклад cometapi/your-model-id. Доступні моделі дивіться на сторінці CometAPI Models.
• Налаштування відповідей: LiteLLM підтримує temperature, max_tokens і top_p — додайте їх до будь-якого виклику completion(), наприклад completion(..., temperature=0.7).
• Обробка помилок: Обгорніть виклики в try/except, щоб перехоплювати помилки невалідного ключа або проблеми мережі.
• Безпека: Ніколи не комітьте API ключі в систему контролю версій. Використовуйте змінні середовища або менеджер секретів.
• Ліміти запитів: Відстежуйте використання в консолі CometAPI.
• Більше документації: документація LiteLLM — швидкий старт CometAPI