LlamaIndex

Integre o LlamaIndex com o CometAPI em Python: instale o CometLLM, defina COMETAPI_KEY, execute chat/complete e habilite streaming para saída de LLM em tempo real.

O LlamaIndex fornece a classe CometLLM como uma integração nativa com o CometAPI. Use-a para alimentar pipelines de RAG, agentes e cadeias de LLM com qualquer model no catálogo do CometAPI.

​

Pré-requisitos

• Python 3.8+
• Uma conta CometAPI com uma chave de API ativa — obtenha a sua aqui

1. Instale a integração CometAPI do LlamaIndex

   pip install llama-index-llms-cometapi llama-index
   
2. Defina sua chave de API

   from llama_index.llms.cometapi import CometLLM
   import os
   
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   api_key = os.getenv("COMETAPI_KEY")
   

   Usar variáveis de ambiente é mais seguro do que inserir credenciais diretamente nos scripts.

3. Inicialize o model e faça chamadas de completion

   from llama_index.core.llms import ChatMessage
   
   llm = CometLLM(
       api_key=api_key,
       max_tokens=256,
       context_window=4096,
       model="your-model-id",
   )
   
   # Chat call
   messages = [
       ChatMessage(role="system", content="You are a helpful assistant"),
       ChatMessage(role="user", content="Say 'Hi' only!"),
   ]
   resp = llm.chat(messages)
   print(resp)
   
   # Completion call
   resp = llm.complete("Who is Kaiming He?")
   print(resp)
   
4. Habilite o streaming

   Use stream_chat ou stream_complete para saída em partes em tempo real:

   # Streaming chat
   message = ChatMessage(role="user", content="Tell me what ResNet is")
   for chunk in llm.stream_chat([message]):
       print(chunk.delta, end="")
   
   # Streaming completion
   for chunk in llm.stream_complete("Tell me about Large Language Models"):
       print(chunk.delta, end="")
   

Dicas e solução de problemas

• Models: Veja a página de Models do CometAPI para todas as opções disponíveis.
• Uso de outros models: Inicialize com um ID de model atual diferente, por exemplo CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
• Fine-tuning: Passe temperature e max_tokens diretamente para CometLLM(...).
• Tratamento de erros: Envolva as chamadas em try/except para capturar erros de chave ou problemas de rede.
• Segurança: Nunca envie chaves de API para o controle de versão. Use variáveis de ambiente.
• Mais documentação: documentação do LlamaIndex — guia de início rápido do CometAPI — exemplo no Colab