Langsung ke konten utama
LlamaIndex menyediakan kelas CometLLM sebagai integrasi kelas satu dengan CometAPI. Gunakan ini untuk mendukung pipeline RAG, agen, dan rantai LLM dengan model apa pun dalam katalog CometAPI.

​
Prasyarat

1

Instal integrasi CometAPI untuk LlamaIndex

pip install llama-index-llms-cometapi llama-index
2

Atur API key Anda

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Menggunakan environment variable lebih aman daripada menanamkan kredensial langsung di dalam skrip.
3

Inisialisasi model dan lakukan panggilan completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Aktifkan streaming

Gunakan stream_chat atau stream_complete untuk output real-time yang dikirim per chunk:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Models: Lihat halaman Models CometAPI untuk semua opsi yang tersedia.
  • Using other models: Inisialisasi dengan model ID saat ini yang berbeda, mis. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: Teruskan temperature dan max_tokens langsung ke CometLLM(...).
  • Error handling: Bungkus pemanggilan dalam try/except untuk menangkap kesalahan key atau masalah jaringan.
  • Security: Jangan pernah melakukan commit API key ke version control. Gunakan environment variable.
  • More docs: dokumentasi LlamaIndex — quick start CometAPI — contoh Colab