LiteLLM

Integrieren Sie LiteLLM mit CometAPI in Python: installieren Sie es, setzen Sie COMETAPI_KEY und führen Sie completions, asynchrone Aufrufe und Streaming mit cometapi-Modellen aus.

LiteLLM bietet eine einheitliche Python-API für mehr als 100 LLM-Anbieter. CometAPI wird nativ unterstützt — verwenden Sie das Präfix cometapi/, um Anfragen über den Modellkatalog von CometAPI weiterzuleiten.

​

Voraussetzungen

• Python 3.6+
• Ein CometAPI-Konto mit einem aktiven API-Schlüssel — hier erhalten

1. LiteLLM installieren

   pip install litellm
   
2. Ihren API-Schlüssel festlegen

   Legen Sie den API-Schlüssel als Umgebungsvariable fest (empfohlen) oder übergeben Sie ihn inline:

   import os
   from litellm import completion
   
   # Recommended: environment variable
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   
   # Alternative: pass inline
   api_key = "<COMETAPI_KEY>"
   

   Verwenden Sie Umgebungsvariablen, um zu vermeiden, dass sensible Zugangsdaten fest im Skript hinterlegt werden.

3. Einen completion-Aufruf ausführen

   Verwenden Sie das Format cometapi/<model-name>, um Modelle anzugeben. Sie können den Schlüssel über eine Umgebungsvariable oder explizit übergeben:

   messages = [{"content": "Hello, how are you?", "role": "user"}]
   
   # Method 1: environment variable (recommended)
   response = completion(model="cometapi/your-model-id", messages=messages)
   
   # Method 2: explicit API key
   response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)
   
   print(response.choices[0].message.content)
   
4. Asynchrone und Streaming-Aufrufe

   Verwenden Sie acompletion mit stream=True für nicht blockierende Echtzeitantworten:

   from litellm import acompletion
   import asyncio, traceback
   
   async def stream_call():
       try:
           response = await acompletion(
         model="cometapi/your-model-id",
               messages=[{"content": "Hello, how are you?", "role": "user"}],
               stream=True,
           )
           async for chunk in response:
               print(chunk)
       except Exception:
           print(f"Error: {traceback.format_exc()}")
   
   asyncio.run(stream_call())
   

Tipps und Fehlerbehebung

• Modellformat: CometAPI-Modelle verwenden das Präfix cometapi/<model-name>, z. B. cometapi/your-model-id. Verfügbare Modelle finden Sie auf der CometAPI Models-Seite.
• Fine-tuning von Antworten: LiteLLM unterstützt temperature, max_tokens und top_p — fügen Sie diese jedem completion()-Aufruf hinzu, z. B. completion(..., temperature=0.7).
• Fehlerbehandlung: Umschließen Sie Aufrufe mit try/except, um Fehler durch ungültige Schlüssel oder Netzwerkprobleme abzufangen.
• Sicherheit: Committen Sie API-Schlüssel niemals in die Versionsverwaltung. Verwenden Sie Umgebungsvariablen oder einen Secrets-Manager.
• Rate Limits: Überwachen Sie die Nutzung in der CometAPI-Konsole.
• Weitere Dokumentation: LiteLLM-Dokumentation — CometAPI-Schnellstart