Naar hoofdinhoud gaan
LlamaIndex biedt de klasse CometLLM als een volwaardige integratie met CometAPI. Gebruik deze om RAG-pipelines, agents en LLM-ketens aan te sturen met elk model in de catalogus van CometAPI.

​
Vereisten

  • Python 3.8+
  • Een CometAPI-account met een actieve API-sleutel — haal die hier op
1

Installeer de LlamaIndex CometAPI-integratie

pip install llama-index-llms-cometapi llama-index
2

Stel je API-sleutel in

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Het gebruik van omgevingsvariabelen is veiliger dan credentials hardcoden in scripts.
3

Initialiseer het model en doe completion-aanroepen

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Schakel Streaming in

Gebruik stream_chat of stream_complete voor real-time uitvoer in chunks:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Models: Bekijk de CometAPI Models-pagina voor alle beschikbare opties.
  • Andere modellen gebruiken: Initialiseer met een andere huidige model-ID, bijvoorbeeld CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: Geef temperature en max_tokens direct door aan CometLLM(...).
  • Foutafhandeling: Plaats aanroepen in try/except om sleutelfouten of netwerkproblemen op te vangen.
  • Beveiliging: Commit API-sleutels nooit naar versiebeheer. Gebruik omgevingsvariabelen.
  • Meer documentatie: LlamaIndex-documentatie — CometAPI-snelstart — Colab-voorbeeld