导语:
近期 AI 应用的主线不再是“能不能生成”,而是“能不能长期可靠地交付”。企业落地进入深水区后会同时遇到三类问题:其一,回答看似合理但不可复核,导致信任成本陡增;其二,工具调用与权限边界不清,把风险从“答错”升级为“做错”;其三,推理成本与能耗成为规模化硬约束,必须预算化运营。本文给出一套以证据为中心的交付方法:可核验引用链、预算路由、评测门禁与可审计协作共同组成闭环。
1. 可核验引用链:RAG 的目标是“可复核”
RAG 不是“查到就行”,而是要让结论可以被抽检复算:
- 引用结构化:来源指纹、文档版本、片段哈希(多模态为区域/时间片)、检索与重排参数摘要缺一不可。
- 冲突显式化:证据冲突时输出冲突点与建议的人工复核路径,避免强行给单一结论。
- 引用门禁:引用完整度、未引用断言比例、引用与结论一致性作为门禁指标,缺引用则再检索、降级或拒答。
2. 证据包:把“可信材料”做成默认交付物
证据包不是审计前临时补材料,而应当随每次输出自动生成:
- 输入与上下文摘要:用户输入、系统指令版本、策略版本、权限上下文摘要(脱敏)。
- 引用链与许可字段:引用可核验字段 + 用途/地域/保留期限等许可字段的校验结果。
- 路由与执行记录:模型/提示版本、路由决策摘要、工具调用清单、审批/签署点结果、水印状态。
证据包应可导出、可签名、可回放,支撑复盘与争议处理。
3. 权限与工具:最小权限 + 参数白名单 + 签署点
当 AI 能执行动作,最关键的是把风险控制做成系统能力:
- 工具白名单与参数白名单:敏感工具调用必须参数约束,避免提示注入直接变成破坏性操作。
- 上下文隔离:用户输入、检索证据、工具输出、系统策略分区封装,防止不可信文本污染工具参数。
- 即时授权与到期回收:高风险权限按需获取、短期有效,例外到期自动回收并复查。
4. 预算路由:质量/体验/费用三预算并行
规模化后成本是产品问题,建议三预算同屏运营:
- 质量预算:事实性、引用完整度、安全越权率、拒答率;
- 体验预算:P95/P99 延迟、失败率、回退比例;
- 费用预算:token、检索、工具调用、缓存命中、功耗/碳强度。
预算驱动路由:关键链路质量优先,非关键链路费用优先,敏感链路风险优先;超预算自动降级(更小模型/缩短上下文/改检索策略/转离线/转人工)并记录原因形成账本。
企业策略
- 证据优先:证据包默认生成并可导出可签名,跨团队以证据对齐口径。
- 门禁前移:引用门禁、权限门禁、评测门禁写进 CI/CD 与运行时。
- 预算可执行:动作级归因 + 预算阈值触发自动降级,复盘工单化。
- 协作可审计:AI 生成内容附引用与上下文摘要,关键输出保留人工签署点。
行动清单
- 统一引用链 schema 与证据包字段,接入门禁与导出能力;
- 为敏感工具调用建立参数白名单与签署点,并固化到期回收;
- 上线动作级成本归因与预算路由,看板化输出高成本动作;
- 建立回归/红队/权限评测并接入 CI,产差异报告并归档。
风险提示
- 输出不可复核:幻觉会以“看似合理”进入决策链路。
- 动作不可控:越权工具调用会放大事故影响面与合规风险。
- 成本不可解释:无归因与预算路由,规模化后账单波动难解释。
- 评测空转:评测不门禁,回归会在迭代中累积。
结语
AI 进入关键链路的前提是可信交付。以证据为中心,把引用链、权限执行、预算路由与评测门禁组成闭环,才能让 AI 在真实约束下长期可靠。