LiteLLM

Integra LiteLLM con CometAPI en Python: instala, configura COMETAPI_KEY y ejecuta completions, llamadas async y Streaming con modelos de cometapi.

LiteLLM proporciona una API unificada de Python para más de 100 proveedores de LLM. CometAPI es compatible de forma nativa: usa el prefijo cometapi/ para enrutar solicitudes a través del catálogo de modelos de CometAPI.

​

Requisitos previos

• Python 3.6+
• Una cuenta de CometAPI con una clave API activa: consigue la tuya aquí

1. Instalar LiteLLM

   pip install litellm
   
2. Configura tu clave API

   Configura la clave API como una variable de entorno (recomendado) o pásala inline:

   import os
   from litellm import completion
   
   # Recommended: environment variable
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   
   # Alternative: pass inline
   api_key = "<COMETAPI_KEY>"
   

   Usa variables de entorno para evitar codificar credenciales sensibles directamente en tus scripts.

3. Haz una llamada de completion

   Usa el formato cometapi/<model-name> para especificar modelos. Puedes pasar la clave mediante una variable de entorno o explícitamente:

   messages = [{"content": "Hello, how are you?", "role": "user"}]
   
   # Method 1: environment variable (recommended)
   response = completion(model="cometapi/your-model-id", messages=messages)
   
   # Method 2: explicit API key
   response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)
   
   print(response.choices[0].message.content)
   
4. Llamadas async y Streaming

   Usa acompletion con stream=True para obtener respuestas no bloqueantes y en tiempo real:

   from litellm import acompletion
   import asyncio, traceback
   
   async def stream_call():
       try:
           response = await acompletion(
         model="cometapi/your-model-id",
               messages=[{"content": "Hello, how are you?", "role": "user"}],
               stream=True,
           )
           async for chunk in response:
               print(chunk)
       except Exception:
           print(f"Error: {traceback.format_exc()}")
   
   asyncio.run(stream_call())
   

Consejos y solución de problemas

• Formato del modelo: Los modelos de CometAPI usan el prefijo cometapi/<model-name>, por ejemplo cometapi/your-model-id. Consulta la página de modelos de CometAPI para ver los modelos disponibles.
• Ajuste de respuestas: LiteLLM admite temperature, max_tokens y top_p; agrégalos a cualquier llamada completion(), por ejemplo completion(..., temperature=0.7).
• Manejo de errores: Envuelve las llamadas en try/except para capturar errores de clave inválida o problemas de red.
• Seguridad: Nunca subas claves API al control de versiones. Usa variables de entorno o un gestor de secretos.
• Límites de tasa: Supervisa el uso en la consola de CometAPI.
• Más documentación: documentación de LiteLLM — inicio rápido de CometAPI