LlamaIndex

Tích hợp LlamaIndex với CometAPI trong Python: cài đặt CometLLM, thiết lập COMETAPI_KEY, chạy chat/complete và bật Streaming để nhận đầu ra LLM theo thời gian thực.

LlamaIndex cung cấp lớp CometLLM như một tích hợp chính thức với CometAPI. Hãy dùng nó để vận hành các pipeline RAG, agent và chuỗi LLM với bất kỳ model nào trong danh mục của CometAPI.

​

Điều kiện tiên quyết

• Python 3.8+
• Tài khoản CometAPI có API key đang hoạt động — lấy tại đây

1. Cài đặt tích hợp LlamaIndex CometAPI

   pip install llama-index-llms-cometapi llama-index
   
2. Thiết lập API key của bạn

   from llama_index.llms.cometapi import CometLLM
   import os
   
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   api_key = os.getenv("COMETAPI_KEY")
   

   Sử dụng biến môi trường an toàn hơn so với hardcode thông tin xác thực trong script.

3. Khởi tạo model và thực hiện các lệnh gọi completion

   from llama_index.core.llms import ChatMessage
   
   llm = CometLLM(
       api_key=api_key,
       max_tokens=256,
       context_window=4096,
       model="your-model-id",
   )
   
   # Chat call
   messages = [
       ChatMessage(role="system", content="You are a helpful assistant"),
       ChatMessage(role="user", content="Say 'Hi' only!"),
   ]
   resp = llm.chat(messages)
   print(resp)
   
   # Completion call
   resp = llm.complete("Who is Kaiming He?")
   print(resp)
   
4. Bật Streaming

   Sử dụng stream_chat hoặc stream_complete để nhận đầu ra được chia thành từng phần theo thời gian thực:

   # Streaming chat
   message = ChatMessage(role="user", content="Tell me what ResNet is")
   for chunk in llm.stream_chat([message]):
       print(chunk.delta, end="")
   
   # Streaming completion
   for chunk in llm.stream_complete("Tell me about Large Language Models"):
       print(chunk.delta, end="")
   

Mẹo và khắc phục sự cố

• Model: Xem trang Models của CometAPI để biết tất cả các tùy chọn hiện có.
• Sử dụng model khác: Khởi tạo với một ID model hiện tại khác, ví dụ CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024).
• Fine-tuning: Truyền trực tiếp temperature và max_tokens vào CometLLM(...).
• Xử lý lỗi: Bọc các lệnh gọi trong try/except để bắt lỗi key hoặc sự cố mạng.
• Bảo mật: Không bao giờ commit API key vào hệ thống quản lý phiên bản. Hãy dùng biến môi trường.
• Tài liệu thêm: tài liệu LlamaIndex — bắt đầu nhanh với CometAPI — ví dụ Colab