Ana içeriğe atla
LlamaIndex, CometAPI ile birinci sınıf entegrasyon olarak CometLLM sınıfını sunar. CometAPI kataloğundaki herhangi bir modelle RAG pipeline’larını, agent’ları ve LLM chain’lerini desteklemek için bunu kullanın.

​
Önkoşullar

  • Python 3.8+
  • Etkin bir API anahtarına sahip bir CometAPI hesabı — buradan alın
1

LlamaIndex CometAPI entegrasyonunu yükleyin

pip install llama-index-llms-cometapi llama-index
2

API anahtarınızı ayarlayın

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
Ortam değişkenlerini kullanmak, kimlik bilgilerini script’lerin içine sabit olarak yazmaktan daha güvenlidir.
3

Modeli başlatın ve completion çağrıları yapın

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

Streaming’i etkinleştirin

Gerçek zamanlı parçalı çıktı için stream_chat veya stream_complete kullanın:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Modeller: Mevcut tüm seçenekler için CometAPI Models sayfasına bakın.
  • Diğer modelleri kullanma: Farklı bir mevcut model kimliğiyle başlatın, ör. CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: temperature ve max_tokens değerlerini doğrudan CometLLM(...) içine geçin.
  • Hata işleme: Anahtar hatalarını veya ağ sorunlarını yakalamak için çağrıları try/except ile sarmalayın.
  • Güvenlik: API anahtarlarını asla sürüm kontrolüne commit etmeyin. Ortam değişkenlerini kullanın.
  • Daha fazla dokümantasyon: LlamaIndex dokümantasyonu — CometAPI hızlı başlangıç — Colab örneği