RAG 重排与评测深水区


1. 召回的上限与数据质量

  • 切分策略与重叠对召回的影响;去重/模板化清洗减少噪声。
  • Embedding 版本升级策略与向后兼容;批量回填与双写。

2. 重排模型的选择

  • 双塔 vs 交叉编码(cross-encoder);延迟/精度对比。
  • 候选数与阈值;多阶段重排(粗排→精排)。

3. 指标与采样

  • 覆盖率@k、NDCG、MRR;引用命中与可追溯性。
  • 在线/离线一致性校准;A/B 与灰度推进。

4. 自动回归

  • 构建问答对与引用标注;变更触发评测与报告。
  • 基线管理:切分/Embedding/提示/模型的多版本。

5. 成本控制

  • Top-k 与上下文长度预算;片段压缩与聚合。
  • 缓存:检索结果缓存与回答缓存;数据过期策略。

6. 风险与防护

  • 数据污染与越权;引用伪造与注入;拒答机制与降级。

文章作者: 张显达
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 张显达 !
  目录