LlamaIndex

Integra LlamaIndex con CometAPI en Python: instala CometLLM, configura COMETAPI_KEY, ejecuta chat/complete y habilita streaming para salida de LLM en tiempo real.

LlamaIndex proporciona la clase CometLLM como una integración de primer nivel con CometAPI. Úsala para impulsar pipelines de RAG, agentes y cadenas de LLM con cualquier modelo del catálogo de CometAPI.

​

Prerrequisitos

• Python 3.8+
• Una cuenta de CometAPI con una API key activa — obtén la tuya aquí

1. Instala la integración de CometAPI para LlamaIndex

   pip install llama-index-llms-cometapi llama-index
   
2. Configura tu API key

   from llama_index.llms.cometapi import CometLLM
   import os
   
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   api_key = os.getenv("COMETAPI_KEY")
   

   Usar variables de entorno es más seguro que incrustar credenciales directamente en los scripts.

3. Inicializa el modelo y realiza llamadas de completion

   from llama_index.core.llms import ChatMessage
   
   llm = CometLLM(
       api_key=api_key,
       max_tokens=256,
       context_window=4096,
       model="your-model-id",
   )
   
   # Chat call
   messages = [
       ChatMessage(role="system", content="You are a helpful assistant"),
       ChatMessage(role="user", content="Say 'Hi' only!"),
   ]
   resp = llm.chat(messages)
   print(resp)
   
   # Completion call
   resp = llm.complete("Who is Kaiming He?")
   print(resp)
   
4. Habilita streaming

   Usa stream_chat o stream_complete para salida fragmentada en tiempo real:

   # Streaming chat
   message = ChatMessage(role="user", content="Tell me what ResNet is")
   for chunk in llm.stream_chat([message]):
       print(chunk.delta, end="")
   
   # Streaming completion
   for chunk in llm.stream_complete("Tell me about Large Language Models"):
       print(chunk.delta, end="")
   

Consejos y resolución de problemas

• Modelos: Consulta la página de modelos de CometAPI para ver todas las opciones disponibles.
• Uso de otros modelos: Inicializa con un ID de modelo actual diferente, por ejemplo CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
• Fine-tuning: Pasa temperature y max_tokens directamente a CometLLM(...).
• Manejo de errores: Envuelve las llamadas en try/except para capturar errores de claves o problemas de red.
• Seguridad: Nunca subas API keys al control de versiones. Usa variables de entorno.
• Más documentación: documentación de LlamaIndex — inicio rápido de CometAPI — ejemplo en Colab