张显达 zxd blog
vLLM 部署与吞吐优化 vLLM 部署与吞吐优化
1. 并发与批处理 动态批处理;请求合并;延迟与吞吐的权衡。
2025-09-12
工具调用安全:凭据、权限与审计 工具调用安全:凭据、权限与审计
1. 凭据管理密钥分环境/分权限;短期凭据;KMS/Secrets 管理。2. 权限最小化细粒度授权;关键操作双因子与人工确认。3. 审计留痕结构化记录参数/结果/耗时/操作者;可回放日志。
2025-09-12
Prompt 注入红队与基准集 Prompt 注入红队与基准集
1. 样例采集真实流量与公开集;敏感策略与红队技巧。2. 对抗生成自动化生成攻击样例;多模板覆盖;多语言与变体。3. 评分与回归判别器/评分器;基线与趋势;发布门禁。
2025-09-12
AI 输出合规与敏感信息检测 AI 输出合规与敏感信息检测
1. PII/DLP 策略识别:正则 + 词典 + 小模型判别。处理:掩码、替换或拒答;保留证据以备审计。2. 输出约束Schema/正则/判别器;引用可追溯;敏感时拒答。3. 审计与留痕日志与样例存档;定期复测与策略调优。
2025-09-12
RAG 向量质量评估 RAG 向量质量评估
1. Embedding 选择与对比 通用/中文/领域模型对比;维度、速度与成本权衡。
2025-09-12
14 / 14