LlamaIndex

Интегрируйте LlamaIndex с CometAPI на Python: установите CometLLM, задайте COMETAPI_KEY, выполняйте chat/complete и включите Streaming для вывода LLM в реальном времени.

LlamaIndex предоставляет класс CometLLM как нативную интеграцию с CometAPI. Используйте его для RAG-конвейеров, агентов и LLM-цепочек с любой моделью из каталога CometAPI.

​

Предварительные требования

• Python 3.8+
• Учетная запись CometAPI с активным API-ключом — получите его здесь

1. Установите интеграцию LlamaIndex CometAPI

   pip install llama-index-llms-cometapi llama-index
   
2. Задайте API-ключ

   from llama_index.llms.cometapi import CometLLM
   import os
   
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   api_key = os.getenv("COMETAPI_KEY")
   

   Использовать переменные окружения безопаснее, чем хардкодить учетные данные в скриптах.

3. Инициализируйте модель и выполните вызовы completion

   from llama_index.core.llms import ChatMessage
   
   llm = CometLLM(
       api_key=api_key,
       max_tokens=256,
       context_window=4096,
       model="your-model-id",
   )
   
   # Chat call
   messages = [
       ChatMessage(role="system", content="You are a helpful assistant"),
       ChatMessage(role="user", content="Say 'Hi' only!"),
   ]
   resp = llm.chat(messages)
   print(resp)
   
   # Completion call
   resp = llm.complete("Who is Kaiming He?")
   print(resp)
   
4. Включите Streaming

   Используйте stream_chat или stream_complete для вывода по частям в реальном времени:

   # Streaming chat
   message = ChatMessage(role="user", content="Tell me what ResNet is")
   for chunk in llm.stream_chat([message]):
       print(chunk.delta, end="")
   
   # Streaming completion
   for chunk in llm.stream_complete("Tell me about Large Language Models"):
       print(chunk.delta, end="")
   

Советы и устранение неполадок

• Модели: Все доступные варианты смотрите на странице CometAPI Models.
• Использование других моделей: Инициализируйте с другим текущим ID модели, например CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
• Fine-tuning: Передавайте temperature и max_tokens напрямую в CometLLM(...).
• Обработка ошибок: Оборачивайте вызовы в try/except, чтобы перехватывать ошибки ключа или проблемы с сетью.
• Безопасность: Никогда не коммитьте API-ключи в систему контроля версий. Используйте переменные окружения.
• Больше документации: документация LlamaIndex — быстрый старт CometAPI — пример в Colab