1. 召回的上限与数据质量
- 切分策略与重叠对召回的影响;去重/模板化清洗减少噪声。
- Embedding 版本升级策略与向后兼容;批量回填与双写。
2. 重排模型的选择
- 双塔 vs 交叉编码(cross-encoder);延迟/精度对比。
- 候选数与阈值;多阶段重排(粗排→精排)。
3. 指标与采样
- 覆盖率@k、NDCG、MRR;引用命中与可追溯性。
- 在线/离线一致性校准;A/B 与灰度推进。
4. 自动回归
- 构建问答对与引用标注;变更触发评测与报告。
- 基线管理:切分/Embedding/提示/模型的多版本。
5. 成本控制
- Top-k 与上下文长度预算;片段压缩与聚合。
- 缓存:检索结果缓存与回答缓存;数据过期策略。
6. 风险与防护
- 数据污染与越权;引用伪造与注入;拒答机制与降级。