LiteLLM

Integra LiteLLM con CometAPI in Python: installa, imposta COMETAPI_KEY ed esegui completions, chiamate async e streaming con i modelli cometapi.

LiteLLM fornisce un’API Python unificata per oltre 100 provider LLM. CometAPI è supportato nativamente: usa il prefisso cometapi/ per instradare le richieste attraverso il catalogo di modelli di CometAPI.

​

Prerequisiti

• Python 3.6+
• Un account CometAPI con una chiave API attiva — ottieni la tua qui

1. Install LiteLLM

   pip install litellm
   
2. Imposta la tua chiave API

   Imposta la chiave API come variabile d’ambiente (consigliato) oppure passala inline:

   import os
   from litellm import completion
   
   # Recommended: environment variable
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   
   # Alternative: pass inline
   api_key = "<COMETAPI_KEY>"
   

   Usa le variabili d’ambiente per evitare di inserire credenziali sensibili direttamente nei tuoi script.

3. Esegui una chiamata completion

   Usa il formato cometapi/<model-name> per specificare i modelli. Puoi passare la chiave tramite variabile d’ambiente oppure esplicitamente:

   messages = [{"content": "Hello, how are you?", "role": "user"}]
   
   # Method 1: environment variable (recommended)
   response = completion(model="cometapi/your-model-id", messages=messages)
   
   # Method 2: explicit API key
   response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)
   
   print(response.choices[0].message.content)
   
4. Chiamate async e streaming

   Usa acompletion con stream=True per risposte non bloccanti e in tempo reale:

   from litellm import acompletion
   import asyncio, traceback
   
   async def stream_call():
       try:
           response = await acompletion(
         model="cometapi/your-model-id",
               messages=[{"content": "Hello, how are you?", "role": "user"}],
               stream=True,
           )
           async for chunk in response:
               print(chunk)
       except Exception:
           print(f"Error: {traceback.format_exc()}")
   
   asyncio.run(stream_call())
   

Suggerimenti e risoluzione dei problemi

• Formato del modello: i modelli CometAPI usano il prefisso cometapi/<model-name>, ad esempio cometapi/your-model-id. Consulta la pagina Modelli di CometAPI per i modelli disponibili.
• Regolazione delle risposte: LiteLLM supporta temperature, max_tokens e top_p: aggiungili a qualsiasi chiamata completion(), ad esempio completion(..., temperature=0.7).
• Gestione degli errori: racchiudi le chiamate in try/except per intercettare errori dovuti a chiavi non valide o problemi di rete.
• Sicurezza: non salvare mai le chiavi API nel controllo di versione. Usa variabili d’ambiente o un gestore di segreti.
• Limiti di velocità: monitora l’utilizzo nella console CometAPI.
• Altra documentazione: documentazione LiteLLM — guida rapida CometAPI