导语:
近期企业智能助手的落地开始进入“第二阶段”:第一阶段解决“能用”,第二阶段解决“可控、可审计、可持续迭代”。用户不再满足于能回答问题,而是要求:能按权限回答、能给出可信引用、能解释为什么这么答、能在变更后保持质量不回退。本文给出一条产品化路径:把权限边界做成系统能力,把引用可信做成交付物,把持续评测做成门禁,把成本与体验做成可运营的预算。
1. 权限边界:助手必须“知道自己不该知道什么”
助手连接知识库与工具后,最大风险来自越权与误用。建议把权限治理拆成三层:
- 身份层:用户身份、岗位、租户与临时授权(到期回收)作为访问控制的基础。
- 数据层:文档、表、指标、工单等资源具备 ACL 与敏感级别;检索阶段强制校验。
- 工具层:工具调用最小权限与参数白名单,敏感动作(导出、删除、跨境、审批)默认进入人工签署点。
关键点是“默认拒绝 + 可解释放行”:任何越权尝试都有可追溯记录与原因。
2. 引用可信:RAG 的目标是“可复核”,不是“看起来像”
企业助手最怕“讲得像真的”。引用可信要做到可复核:
- 可核验引用链:输出来源指纹、文档版本、片段哈希、检索与重排参数摘要,支持抽检复算。
- 未引用断言管理:把未引用断言比例作为门禁指标;缺引用自动再检索、降级或拒答。
- 冲突处理:当证据冲突时输出冲突点与建议的人工复核路径,避免强行给单一结论。
3. 持续评测:把质量从“上线前”延伸到“上线后”
助手的变更面很大(提示、模型、检索、权限规则、工具),必须持续评测:
- 回归评测:覆盖核心任务链路,变更必跑并产差异报告。
- 红队评测:注入、越权、隐私泄露、工具误用常态化。
- 权限评测:针对不同角色/租户构造用例,确保“该看见的看见,不该看见的看不见”。
评测结果必须能进入 CI/CD 门禁,并能与线上指标联动复盘。
4. 预算运营:质量/体验/费用三预算并行
规模化后,助手会遇到“成本与体验拉扯”。建议三预算并行:
- 质量预算:事实性、引用完整度、安全越权率、拒答率;
- 体验预算:P95/P99 延迟、失败率、重试次数;
- 费用预算:token、检索、工具调用、缓存命中、功耗/碳强度。
把预算写进路由:不同场景选择不同模型与检索策略,超预算自动降级并记录原因。
企业策略
- 权限产品化:身份/数据/工具三层权限统一治理,临时授权到期回收。
- 引用可交付:引用链结构化输出并可核验,证据包可导出可签名。
- 评测门禁化:回归/红队/权限评测进入门禁,差异报告随发布归档。
- 预算可执行:质量/体验/费用预算驱动调度,降级与回退机制平台化。
行动清单
- 统一知识库 ACL 与检索校验,并为敏感工具加入签署点;
- 将引用链 schema 标准化并接入监控与门禁;
- 建立回归/红队/权限评测集并接入 CI,产差异报告;
- 上线预算路由与成本归因看板,形成可执行降本策略。
风险提示
- 越权隐患:权限治理停留在流程而非系统,会在规模化时暴露。
- 引用漂移:引用不可核验会导致争议与信任崩塌。
- 评测空转:只做报告不做门禁,回归会快速累积。
- 预算黑箱:无归因与降级,成本波动难解释。
结语
企业智能助手的竞争力是“可信交付”。当权限边界可执行、引用链可复核、持续评测可门禁、预算运营可落地,助手才能从好用走向长期可靠。