导语：
生产环境的AI系统必须“可验证、可回放、可控成本”。本文给出不依赖特定厂商的最小落地方案：评测门禁、工作流回放、成本路由，并附配置模板与一周上线SOP。
1. 评测门禁（Evals Gate）
- 评测集版本化：高频问题、关键流程、安全/越权场景。
- 阈值：引用覆盖、无引用断言、拒答合理性、时延与成本。
- 动作：不达标阻断上线或降级策略；生成报告入证据包。
2. 工作流回放（Workflow Replay）
- 记录步骤：检索/重排/生成/工具调用输入输出与耗时。
- 版本：
prompt_version、kb_version、policy_version、workflow_version。 - 脱敏与权限：敏感字段遮盖，按租户/角色控制访问与重放。
- 重放接口：可替换单步做 A/B（如替换检索或重排策略）。
3. 成本路由（Cost-Aware Routing）
- 分层：高价值任务→强模型，低价值/重复→轻量模型或缓存。
- 预算：按场景/租户设 token/时延/调用次数上限，超额自动降级/拒答。
- 观测：成本/时延/重试/缓存命中看板，异常推送。
4. 配置模板（可抄）
routing.yml：场景→模型/策略，含预算与兜底。evals.yml：评测集、阈值、触发动作。replay.yml：步骤字段、脱敏、存储位置。budget.yml：成本/时延上限、告警与降级策略。
5. 一周落地SOP
- Day1：定义字段与模板；在仓库创建配置，走 PR 审核。
- Day2-3：埋点回放字段；接入离线评测到 CI。
- Day4：上线影子评测与小流量门禁；看板展示质量/成本。
- Day5-6：开启成本路由与预算；设置告警与降级动作。
- Day7：形成 Evidence Pack 模板，包含评测、回放、成本与决策记录。
6. Evidence Pack 字段示例
- 评测：通过率、失败用例、阈值与基线
- 回放：trace 链路、步骤、版本、输出
- 成本：时延、token、重试、缓存命中
- 决策：降级/阻断/回滚记录、负责人
7. 风险与对策
- 幻觉导致错误动作：强制“无证据拒答”，高风险操作需引用匹配。
- 成本失控：预算+降级兜底；对长内容启用压缩/摘要/缓存。
- 数据泄露：回放与评测数据做脱敏与权限隔离。
结语：
把评测门禁、回放和成本路由做成默认配置与流水线，AI 工具链才能在质量、成本、合规之间稳态运行。
补充：看板与自动动作
- 质量看板：通过率、失败 Top、趋势；失败用例可一键回放。
- 成本看板：按场景/租户/模型展示时延、token、重试、缓存命中；超预算标红。
- 自动动作：允许“一键降级/切换模型/调温度”并记录策略版本，形成可追溯闭环。
补充：上线前核查清单
- 配置就绪：
routing.yml/evals.yml/replay.yml/budget.yml已合入，CI 校验通过。 - 数据就绪：评测集可跑，回放存储可写，敏感字段已脱敏。
- 观测就绪：质量/成本看板可用，告警通道验证通过（可试跑一条告警）。
- 止损就绪：降级/回滚/兜底模型配置已验证，触发阈值明确。
