LiteLLM

在 Python 中将 LiteLLM 与 CometAPI 集成：安装、设置 COMETAPI_KEY，并使用 cometapi 模型运行补全、异步调用和流式输出。

LiteLLM 为 100 多家 LLM 提供商提供统一的 Python API。CometAPI 已原生支持——使用 cometapi/ 前缀即可通过 CometAPI 的模型目录路由请求。

​

前置条件

• Python 3.6+
• 拥有一个带有效 API key 的 CometAPI 账户——点此获取

1. 安装 LiteLLM

   pip install litellm
   
2. 设置你的 API key

   将 API key 设置为环境变量（推荐），或以内联方式传入：

   import os
   from litellm import completion
   
   # Recommended: environment variable
   os.environ["COMETAPI_KEY"] = "<COMETAPI_KEY>"
   
   # Alternative: pass inline
   api_key = "<COMETAPI_KEY>"
   

   使用环境变量可避免在脚本中硬编码敏感凭据。

3. 发起一次补全调用

   使用 cometapi/<model-name> 格式指定模型。你可以通过环境变量传递 key，或显式传入：

   messages = [{"content": "Hello, how are you?", "role": "user"}]
   
   # Method 1: environment variable (recommended)
   response = completion(model="cometapi/your-model-id", messages=messages)
   
   # Method 2: explicit API key
   response = completion(model="cometapi/your-model-id", messages=messages, api_key=api_key)
   
   print(response.choices[0].message.content)
   
4. 异步与流式调用

   使用带 stream=True 的 acompletion 获取非阻塞的实时响应：

   from litellm import acompletion
   import asyncio, traceback
   
   async def stream_call():
       try:
           response = await acompletion(
         model="cometapi/your-model-id",
               messages=[{"content": "Hello, how are you?", "role": "user"}],
               stream=True,
           )
           async for chunk in response:
               print(chunk)
       except Exception:
           print(f"Error: {traceback.format_exc()}")
   
   asyncio.run(stream_call())
   

提示与故障排查

• 模型格式：CometAPI 模型使用前缀 cometapi/<model-name>，例如 cometapi/your-model-id。可用模型请参阅 CometAPI Models 页面。
• 微调响应：LiteLLM 支持 temperature、max_tokens 和 top_p——可将它们添加到任何 completion() 调用中，例如 completion(..., temperature=0.7)。
• 错误处理：使用 try/except 包裹调用，以捕获无效 key 错误或网络问题。
• 安全性：切勿将 API key 提交到版本控制中。请使用环境变量或密钥管理器。
• 速率限制：在 CometAPI 控制台 监控使用情况。
• 更多文档：LiteLLM 文档 — CometAPI 快速开始