LiteLLM

Zintegruj LiteLLM z CometAPI w Pythonie: zainstaluj, ustaw COMETAPI_KEY i uruchamiaj completions, wywołania async oraz Streaming z modelami cometapi.

LiteLLM udostępnia ujednolicone API Pythona dla ponad 100 dostawców LLM. CometAPI jest obsługiwane natywnie — użyj prefiksu cometapi/, aby kierować żądania przez katalog modeli CometAPI.

​

Wymagania wstępne

• Python 3.6+
• Konto CometAPI z aktywnym kluczem API — pobierz je tutaj

1. Zainstaluj LiteLLM

   pip install litellm
   
2. Ustaw swój klucz API

   Ustaw klucz API jako zmienną środowiskową (zalecane) lub przekaż go bezpośrednio:

   import os
   from litellm import completion
   
   # Recommended: environment variable
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   
   # Alternative: pass inline
   api_key = "<COMETAPI_KEY>"
   

   Używaj zmiennych środowiskowych, aby uniknąć wpisywania w skryptach na stałe wrażliwych danych uwierzytelniających.

3. Wykonaj wywołanie completion

   Użyj formatu cometapi/<model-name>, aby określić modele. Klucz możesz przekazać przez zmienną środowiskową lub jawnie:

   messages = [{"content": "Hello, how are you?", "role": "user"}]
   
   # Method 1: environment variable (recommended)
   response = completion(model="cometapi/your-model-id", messages=messages)
   
   # Method 2: explicit API key
   response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)
   
   print(response.choices[0].message.content)
   
4. Wywołania async i Streaming

   Użyj acompletion z stream=True, aby uzyskać nieblokujące odpowiedzi w czasie rzeczywistym:

   from litellm import acompletion
   import asyncio, traceback
   
   async def stream_call():
       try:
           response = await acompletion(
         model="cometapi/your-model-id",
               messages=[{"content": "Hello, how are you?", "role": "user"}],
               stream=True,
           )
           async for chunk in response:
               print(chunk)
       except Exception:
           print(f"Error: {traceback.format_exc()}")
   
   asyncio.run(stream_call())
   

Wskazówki i rozwiązywanie problemów

• Format modelu: Modele CometAPI używają prefiksu cometapi/<model-name>, np. cometapi/your-model-id. Dostępne modele znajdziesz na stronie CometAPI Models.
• Dostrajanie odpowiedzi: LiteLLM obsługuje temperature, max_tokens i top_p — dodaj je do dowolnego wywołania completion(), np. completion(..., temperature=0.7).
• Obsługa błędów: Opakuj wywołania w try/except, aby przechwytywać błędy nieprawidłowego klucza lub problemy z siecią.
• Bezpieczeństwo: Nigdy nie zapisuj kluczy API w systemie kontroli wersji. Używaj zmiennych środowiskowych lub menedżera sekretów.
• Limity szybkości: Monitoruj użycie w konsoli CometAPI.
• Więcej dokumentacji: Dokumentacja LiteLLM — szybki start CometAPI