LlamaIndex

Python에서 LlamaIndex를 CometAPI와 통합하세요: CometLLM을 설치하고, COMETAPI_KEY를 설정하고, chat/complete를 실행하고, 실시간 LLM 출력을 위해 스트리밍을 활성화합니다.

LlamaIndex는 CometAPI와의 기본 통합으로 CometLLM 클래스를 제공합니다. 이를 사용해 CometAPI 카탈로그의 모든 모델로 RAG 파이프라인, 에이전트, LLM 체인을 구동할 수 있습니다.

​

사전 준비 사항

• Python 3.8+
• 활성 API 키가 있는 CometAPI 계정 — 여기서 발급받기

1. LlamaIndex CometAPI 통합 설치

   pip install llama-index-llms-cometapi llama-index
   
2. API 키 설정

   from llama_index.llms.cometapi import CometLLM
   import os
   
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   api_key = os.getenv("COMETAPI_KEY")
   

   환경 변수를 사용하는 것이 스크립트에 자격 증명을 하드코딩하는 것보다 더 안전합니다.

3. 모델 초기화 및 complete 호출 실행

   from llama_index.core.llms import ChatMessage
   
   llm = CometLLM(
       api_key=api_key,
       max_tokens=256,
       context_window=4096,
       model="your-model-id",
   )
   
   # Chat call
   messages = [
       ChatMessage(role="system", content="You are a helpful assistant"),
       ChatMessage(role="user", content="Say 'Hi' only!"),
   ]
   resp = llm.chat(messages)
   print(resp)
   
   # Completion call
   resp = llm.complete("Who is Kaiming He?")
   print(resp)
   
4. 스트리밍 활성화

   실시간 청크 출력에는 stream_chat 또는 stream_complete를 사용하세요:

   # Streaming chat
   message = ChatMessage(role="user", content="Tell me what ResNet is")
   for chunk in llm.stream_chat([message]):
       print(chunk.delta, end="")
   
   # Streaming completion
   for chunk in llm.stream_complete("Tell me about Large Language Models"):
       print(chunk.delta, end="")
   

팁 및 문제 해결

• 모델: 사용 가능한 모든 옵션은 CometAPI Models 페이지를 참고하세요.
• 다른 모델 사용: 예를 들어 CometLLM(api_key=api_key, model="your-model-id", max_tokens=1024)처럼 현재 모델 ID를 다른 값으로 지정해 초기화하세요.
• 파인튜닝(Fine-tuning): temperature와 max_tokens를 CometLLM(...)에 직접 전달하세요.
• 오류 처리: 키 오류나 네트워크 문제를 잡으려면 호출을 try/except로 감싸세요.
• 보안: API 키를 버전 관리에 절대 커밋하지 마세요. 환경 변수를 사용하세요.
• 추가 문서: LlamaIndex 문서 — CometAPI 빠른 시작 — Colab 예제