张显达 zxd blog
vLLM 部署与吞吐优化 vLLM 部署与吞吐优化
1. 并发与批处理 动态批处理;请求合并;延迟与吞吐的权衡。
2025-09-12
AI 输出合规与敏感信息检测 AI 输出合规与敏感信息检测
1. PII/DLP 策略识别:正则 + 词典 + 小模型判别。处理:掩码、替换或拒答;保留证据以备审计。2. 输出约束Schema/正则/判别器;引用可追溯;敏感时拒答。3. 审计与留痕日志与样例存档;定期复测与策略调优。
2025-09-12
工具调用安全:凭据、权限与审计 工具调用安全:凭据、权限与审计
1. 凭据管理密钥分环境/分权限;短期凭据;KMS/Secrets 管理。2. 权限最小化细粒度授权;关键操作双因子与人工确认。3. 审计留痕结构化记录参数/结果/耗时/操作者;可回放日志。
2025-09-12
Prompt 注入红队与基准集 Prompt 注入红队与基准集
1. 样例采集真实流量与公开集;敏感策略与红队技巧。2. 对抗生成自动化生成攻击样例;多模板覆盖;多语言与变体。3. 评分与回归判别器/评分器;基线与趋势;发布门禁。
2025-09-12
越狱检测与响应流程 越狱检测与响应流程
1. 检测信号提示绕过、安全拒答失败、异常模式输出等。多级评分器:规则 + 小模型判别 + 人审抽样。2. 自动化处置降级/拒答;替换为安全模板;冻结会话。速率限制与黑名单;隔离高危来源。3. 复盘与改进样例沉淀为回归集;提示/工具/策略迭
2025-09-12
10 / 10