LlamaIndex

Інтегруйте LlamaIndex з CometAPI у Python: встановіть CometLLM, задайте COMETAPI_KEY, виконуйте chat/complete та увімкніть Streaming для LLM-виводу в реальному часі.

LlamaIndex надає клас CometLLM як нативну інтеграцію з CometAPI. Використовуйте його для роботи RAG-конвеєрів, агентів і LLM-ланцюжків з будь-якою моделлю в каталозі CometAPI.

​

Передумови

• Python 3.8+
• Обліковий запис CometAPI з активним API-ключем — отримайте свій тут

1. Встановіть інтеграцію LlamaIndex CometAPI

   pip install llama-index-llms-cometapi llama-index
   
2. Задайте свій API-ключ

   from llama_index.llms.cometapi import CometLLM
   import os
   
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   api_key = os.getenv("COMETAPI_KEY")
   

   Використання змінних середовища безпечніше, ніж жорстко прописувати облікові дані в скриптах.

3. Ініціалізуйте модель і виконайте виклики completion

   from llama_index.core.llms import ChatMessage
   
   llm = CometLLM(
       api_key=api_key,
       max_tokens=256,
       context_window=4096,
       model="your-model-id",
   )
   
   # Chat call
   messages = [
       ChatMessage(role="system", content="You are a helpful assistant"),
       ChatMessage(role="user", content="Say 'Hi' only!"),
   ]
   resp = llm.chat(messages)
   print(resp)
   
   # Completion call
   resp = llm.complete("Who is Kaiming He?")
   print(resp)
   
4. Увімкніть Streaming

   Використовуйте stream_chat або stream_complete для виводу фрагментів у реальному часі:

   # Streaming chat
   message = ChatMessage(role="user", content="Tell me what ResNet is")
   for chunk in llm.stream_chat([message]):
       print(chunk.delta, end="")
   
   # Streaming completion
   for chunk in llm.stream_complete("Tell me about Large Language Models"):
       print(chunk.delta, end="")
   

Поради та усунення несправностей

• Моделі: Перегляньте сторінку моделей CometAPI, щоб побачити всі доступні варіанти.
• Використання інших моделей: Ініціалізуйте з іншим поточним model ID, наприклад CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
• Fine-tuning: Передавайте temperature і max_tokens безпосередньо в CometLLM(...).
• Обробка помилок: Обгорніть виклики в try/except, щоб перехоплювати помилки ключа або проблеми з мережею.
• Безпека: Ніколи не комітьте API-ключі у version control. Використовуйте змінні середовища.
• Більше документації: документація LlamaIndex — швидкий старт CometAPI — приклад Colab