LlamaIndex

Intégrez LlamaIndex avec CometAPI en Python : installez CometLLM, définissez COMETAPI_KEY, exécutez chat/complete et activez le Streaming pour une sortie LLM en temps réel.

LlamaIndex fournit la classe CometLLM comme intégration native avec CometAPI. Utilisez-la pour alimenter des pipelines RAG, des agents et des chaînes LLM avec n’importe quel modèle du catalogue CometAPI.

​

Prérequis

• Python 3.8+
• Un compte CometAPI avec une clé API active — obtenez la vôtre ici

1. Installer l’intégration CometAPI de LlamaIndex

   pip install llama-index-llms-cometapi llama-index
   
2. Définir votre clé API

   from llama_index.llms.cometapi import CometLLM
   import os
   
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   api_key = os.getenv("COMETAPI_KEY")
   

   L’utilisation de variables d’environnement est plus sûre que l’intégration en dur des identifiants dans les scripts.

3. Initialiser le modèle et effectuer des appels de complétion

   from llama_index.core.llms import ChatMessage
   
   llm = CometLLM(
       api_key=api_key,
       max_tokens=256,
       context_window=4096,
       model="your-model-id",
   )
   
   # Chat call
   messages = [
       ChatMessage(role="system", content="You are a helpful assistant"),
       ChatMessage(role="user", content="Say 'Hi' only!"),
   ]
   resp = llm.chat(messages)
   print(resp)
   
   # Completion call
   resp = llm.complete("Who is Kaiming He?")
   print(resp)
   
4. Activer le Streaming

   Utilisez stream_chat ou stream_complete pour une sortie en morceaux en temps réel :

   # Streaming chat
   message = ChatMessage(role="user", content="Tell me what ResNet is")
   for chunk in llm.stream_chat([message]):
       print(chunk.delta, end="")
   
   # Streaming completion
   for chunk in llm.stream_complete("Tell me about Large Language Models"):
       print(chunk.delta, end="")
   

Conseils et dépannage

• Modèles : Consultez la page des modèles CometAPI pour voir toutes les options disponibles.
• Utiliser d’autres modèles : Initialisez avec un autre ID de modèle actuel, par ex. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
• Fine-tuning : Passez temperature et max_tokens directement à CometLLM(...).
• Gestion des erreurs : Encapsulez les appels dans try/except pour intercepter les erreurs de clé ou les problèmes réseau.
• Sécurité : Ne versionnez jamais les clés API dans le contrôle de version. Utilisez des variables d’environnement.
• Documentation supplémentaire : documentation LlamaIndex — démarrage rapide CometAPI — exemple Colab