模型服务
模型服务按租户管理，密钥、模型和优先级不应散落在代码或服务器配置中。部署配置只作为未配置模型时的兜底。
模型用途
| 用途 | 推荐模型 | 说明 |
|---|---|---|
| 对话 | 通用大模型 | 理解意图、补问、解释和编排；支持主备顺序 |
| OCR | 专用视觉或 OCR 模型 | 发票、证照和表格字段识别 |
| 语音转写 | ASR 模型 | 将会议或语音输入转换为文本 |
| 向量 | Embedding 模型 | 知识库向量化，按产品版本启用 |
| 重排序 | Rerank 模型 | 提升知识检索排序，按产品版本启用 |
对话模型主备
对话模型按顺序调用：第一条为主模型，遇到限流、超时或可重试错误时切换到下一条。业务校验失败不应触发模型切换。
OCR 和语音通常只使用当前用途排第一的有效配置，避免不同模型识别结果不一致。
配置项
- 服务商和兼容协议。
- API 地址、模型名称和密钥。
- 超时、最大输出和温度等参数。
- 用途、优先级、启用状态和租户范围。
- 健康检查和最近一次测试结果。
密钥安全
- 页面只展示密钥掩码，不回显完整值。
- 日志、异常和浏览器控制台不得输出密钥。
- 修改密钥后立即测试，不保留无用途的旧密钥。
- 不同客户和环境使用独立密钥与额度。
- 密钥泄露或额度耗尽时，应更换并确认备用模型可用。
为什么没有配置也能对话
如果租户没有模型配置，系统可能回退到部署环境中的默认模型。这适合开发和初始化，不建议作为生产常态。生产环境应显式配置租户模型，便于权限、费用、主备和审计管理。
