运维手册
配置 .env
1. LLM 配置
1.1. LiteLLM 配置规则(推荐)
LiteLLM 是一个统一的 LLM API 接口,支持 100+ 模型提供商。
工作原理
模型名称格式
格式:provider/model_name
或 provider/organization/model_name
示例(模型名称可能会变化):
- OpenAI 官方:
openai/gpt-4o
,openai/gpt-3.5-turbo
- Google 官方:
gemini/gemini-2.5-pro
,gemini/gemini-2.5-flash
- Anthropic 官方:
anthropic/claude-sonnet-4-20250514
- 第三方平台或自托管:
openai/deepseek-ai/DeepSeek-V3
,openai/custom-model-name
API 端点路由逻辑
- LLM_ENDPOINT 必须始终有值
- 对于官方 API,使用提供商的官方端点 URL
- 对于第三方平台,使用平台的端点 URL
- LiteLLM 自动处理提供商之间的 API 格式差异
- API 密钥通过 LLM_APIKEY 设置,或使用环境变量(例如
OPENAI_API_KEY
)
配置示例
场景 1: OpenAI 官方 API
场景 2: Google 官方 API
场景 3: Anthropic 官方 API
场景 4: 第三方平台或自托管服务
详细请求流程
常见问题排查
问题 | 解决方案 |
---|---|
模型名称格式不正确 | 检查前缀是否正确(openai/ , anthropic/ , gemini/ 等) |
API 密钥错误 | 确认密钥格式和权限,检查是否过期 |
端点无法访问 | 检查网络连接和 URL 格式,确认端点正确 |
模型未找到 | 确认模型名称在提供商处可用,检查拼写 |
超时错误 | 调整网络超时设置,检查提供商服务状态 |
配额限制 | 检查 API 配额和计费状态 |
代码实现参考: lite_llm_client.py
1.2. AISuite 配置规则(不再更新)
注意: AISuite 项目已数月未更新,建议使用 LiteLLM
工作原理
模型名称格式
格式: provider:model_name
(注意:使用冒号,不是斜杠)
示例:
- OpenAI:
openai:gpt-4o
,openai:gpt-3.5-turbo
- Google:
google:gemini-2.5-pro
- Anthropic:
anthropic:claude-sonnet-4-20250514
- 自定义部署:
openai:custom-model-name
- 硅基流动(第三方平台):
openai:deepseek-ai/DeepSeek-V3
配置限制
- 不支持通过环境变量进行动态配置,灵活性差
- 只能通过代码修改来支持新的提供商或端点
代码实现参考: aisuite_client.py
2. 嵌入模型配置
嵌入模型使用独立的配置系统,不依赖于 MODEL_PLATFORM_TYPE
。
配置规则
- 默认使用 OpenAI 兼容格式,因此不需要
openai/
前缀 - 支持自定义端点和 API 密钥