LiteLLM

Integre o LiteLLM com a CometAPI em Python: instale, defina COMETAPI_KEY e execute completions, chamadas assíncronas e Streaming com modelos da CometAPI.

LiteLLM fornece uma API Python unificada para mais de 100 provedores de LLM. A CometAPI tem suporte nativo — use o prefixo cometapi/ para rotear solicitações pelo catálogo de modelos da CometAPI.

​

Pré-requisitos

• Python 3.6+
• Uma conta CometAPI com uma chave de API ativa — obtenha a sua aqui

1. Install LiteLLM

   pip install litellm
   
2. Set your API key

   Defina a chave de API como uma variável de ambiente (recomendado) ou passe-a inline:

   import os
   from litellm import completion
   
   # Recommended: environment variable
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   
   # Alternative: pass inline
   api_key = "<COMETAPI_KEY>"
   

   Use variáveis de ambiente para evitar codificar credenciais sensíveis diretamente nos seus scripts.

3. Make a completion call

   Use o formato cometapi/<model-name> para especificar modelos. Você pode passar a chave via variável de ambiente ou explicitamente:

   messages = [{"content": "Hello, how are you?", "role": "user"}]
   
   # Method 1: environment variable (recommended)
   response = completion(model="cometapi/your-model-id", messages=messages)
   
   # Method 2: explicit API key
   response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)
   
   print(response.choices[0].message.content)
   
4. Async and streaming calls

   Use acompletion com stream=True para respostas em tempo real sem bloqueio:

   from litellm import acompletion
   import asyncio, traceback
   
   async def stream_call():
       try:
           response = await acompletion(
         model="cometapi/your-model-id",
               messages=[{"content": "Hello, how are you?", "role": "user"}],
               stream=True,
           )
           async for chunk in response:
               print(chunk)
       except Exception:
           print(f"Error: {traceback.format_exc()}")
   
   asyncio.run(stream_call())
   

Tips and troubleshooting

• Formato do modelo: Os modelos da CometAPI usam o prefixo cometapi/<model-name>, por exemplo cometapi/your-model-id. Consulte a página de Modelos da CometAPI para ver os modelos disponíveis.
• Ajuste fino das respostas: LiteLLM oferece suporte a temperature, max_tokens e top_p — adicione-os a qualquer chamada completion(), por exemplo completion(..., temperature=0.7).
• Tratamento de erros: Envolva as chamadas em try/except para capturar erros de chave inválida ou problemas de rede.
• Segurança: Nunca faça commit de chaves de API no controle de versão. Use variáveis de ambiente ou um gerenciador de segredos.
• Limites de taxa: Monitore o uso no console da CometAPI.
• Mais documentação: documentação do LiteLLM — início rápido da CometAPI