الانتقال إلى المحتوى الرئيسي
يوفّر LlamaIndex الفئة CometLLM كتكامل أساسي مع CometAPI. استخدمها لتشغيل مسارات RAG والوكلاء وسلاسل LLM باستخدام أي model في كتالوج CometAPI.

​
المتطلبات المسبقة

1

ثبّت تكامل LlamaIndex مع CometAPI

pip install llama-index-llms-cometapi llama-index
2

اضبط مفتاح API الخاص بك

from llama_index.llms.cometapi import CometLLM
import os

os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
api_key = os.getenv("COMETAPI_KEY")
استخدام متغيرات البيئة أكثر أمانًا من تضمين بيانات الاعتماد مباشرة داخل السكربتات.
3

هيّئ model ونفّذ استدعاءات completion

from llama_index.core.llms import ChatMessage

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="your-model-id",
)

# Chat call
messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Completion call
resp = llm.complete("Who is Kaiming He?")
print(resp)
4

فعّل Streaming

استخدم stream_chat أو stream_complete للحصول على مخرجات مجزأة في الوقت الفعلي:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
for chunk in llm.stream_chat([message]):
    print(chunk.delta, end="")

# Streaming completion
for chunk in llm.stream_complete("Tell me about Large Language Models"):
    print(chunk.delta, end="")
  • Models: راجع صفحة Models في CometAPI للاطلاع على جميع الخيارات المتاحة.
  • استخدام نماذج أخرى: قم بالتهيئة باستخدام معرّف model حالي مختلف، مثل CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
  • Fine-tuning: مرّر temperature و max_tokens مباشرة إلى CometLLM(...).
  • معالجة الأخطاء: ضع الاستدعاءات داخل try/except لالتقاط أخطاء المفاتيح أو مشكلات الشبكة.
  • الأمان: لا تقم أبدًا بحفظ مفاتيح API في نظام التحكم بالإصدارات. استخدم متغيرات البيئة.
  • مزيد من الوثائق: توثيق LlamaIndex — البداية السريعة لـ CometAPI — مثال Colab