https://zhenda-hub.github.io/tags/%E5%86%85%E5%AE%B9%E5%AE%A1%E6%A0%B8/Recent content in 内容审核 on 星图与尘埃 · Starmap & DustHugo -- gohugo.iozh-CNCopyright © 2023-2026 星⁠图⁠与⁠尘⁠埃 Starmap & Dust. All Rights Reserved.Sat, 14 Nov 2026 19:40:00 +0800https://zhenda-hub.github.io/posts/ai/model-refusal-list/Sat, 14 Nov 2026 19:40:00 +0800https://zhenda-hub.github.io/posts/ai/model-refusal-list/<p>同一个越界请求换五种问法——换语言、加角色扮演、拆成几个子问题——拒绝的措辞会变，边界一动不动。</p> <p><strong>拒答不是查黑名单，是训练时用人类反馈塑形出来的倾向。</strong></p>https://zhenda-hub.github.io/posts/system/cloud-servers/Mon, 03 Jun 2024 09:49:51 +0800https://zhenda-hub.github.io/posts/system/cloud-servers/<h2 class="relative group">关键配置 <div id="关键配置" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e5%85%b3%e9%94%ae%e9%85%8d%e7%bd%ae" aria-label="锚点">#</a> </span> </h2> <ul> <li>安全组 <ul> <li>开放端口</li> </ul> </li> <li>应用 <ul> <li>git</li> <li>docker</li> <li>nginx 服务器</li> </ul> </li> <li>快照 <ul> <li>记录历史</li> </ul> </li> <li>反监控</li> </ul> <h2 class="relative group">云厂商的机器自动合规安全检查具体怎么扫描违法内容? <div id="云厂商的机器自动合规安全检查具体怎么扫描违法内容" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e4%ba%91%e5%8e%82%e5%95%86%e7%9a%84%e6%9c%ba%e5%99%a8%e8%87%aa%e5%8a%a8%e5%90%88%e8%a7%84%e5%ae%89%e5%85%a8%e6%a3%80%e6%9f%a5%e5%85%b7%e4%bd%93%e6%80%8e%e4%b9%88%e6%89%ab%e6%8f%8f%e8%bf%9d%e6%b3%95%e5%86%85%e5%ae%b9" aria-label="锚点">#</a> </span> </h2> <table> <thead> <tr> <th style="text-align: left">步骤</th> <th style="text-align: left">具体操作</th> <th style="text-align: left">通俗解释</th> <th style="text-align: left">耗时</th> </tr> </thead> <tbody> <tr> <td style="text-align: left">1. 分级分流</td> <td style="text-align: left">先把用户数据按类型分类：文本（文档 / 聊天）、图片、音视频、文件、网络流量等，不同类型走不同检测通道</td> <td style="text-align: left">就像医院分诊：发烧的去发热科，咳嗽的去呼吸科，不混在一起查</td> <td style="text-align: left">毫秒级</td> </tr> <tr> <td style="text-align: left">2. 基础特征匹配（核心步）</td> <td style="text-align: left">用「规则引擎」匹配监管要求的核心违规特征：- 文本：扫敏感词库（涉黄 / 涉恐 / 违法关键词），还识别变体（拼音、谐音、拆字，比如 “赌 * 博”→匹配 “赌博”）- 图片：先 OCR 提文字，再匹配违禁图像特征（比如管制刀具、敏感场景）- 音视频：音频转文字（ASR），视频抽关键帧（每秒 1-2 帧）做图像检测</td> <td style="text-align: left">像安检机扫行李：只认 “刀具、打火机” 这些预设违禁品，不认你包里的文件、口红</td> <td style="text-align: left">毫秒级（90% 的内容这一步就完成）</td> </tr> <tr> <td style="text-align: left">3. AI 语义补漏（进阶步）</td> <td style="text-align: left">对第一步没命中但疑似风险的内容，用 AI 模型做深层分析：- 文本：理解上下文（比如区分 “电影很黄”（涉黄）和 “香蕉很黄”（正常））- 图片 / 视频：识别隐晦违规（比如看似正常但实际涉黄的场景）</td> <td style="text-align: left">像安检员二次检查：机器没扫出来的 “伪装违禁品”，用 AI 再确认</td> <td style="text-align: left">10-50 毫秒（仅针对疑似内容）</td> </tr> <tr> <td style="text-align: left">4. 风险评分与处置</td> <td style="text-align: left">给内容打 0-100 分的风险分，按阈值处理：- 高风险（≥80 分）：自动拦截 / 屏蔽，记日志上报监管- 中风险（50-79 分）：标记待人工复核，不拦截- 低风险（&lt;50 分）：直接放行，不留存完整内容</td> <td style="text-align: left">像交警判罚：闯红灯（高风险）直接罚，压线（中风险）看情况，正常行驶（低风险）直接过</td> <td style="text-align: left">毫秒级</td> </tr> <tr> <td style="text-align: left">5. 日志留存与迭代</td> <td style="text-align: left">只记录 “检测类型 + 结果 + 时间”（不存完整数据），用于监管审计和模型优化（把漏判 / 误判的案例加入训练）</td> <td style="text-align: left">只记 “今天查了 1000 件行李，1 件有违禁品”，不记 “1000 件行李里装了啥”</td> <td style="text-align: left">-</td> </tr> </tbody> </table> <p>整体都在97%+ 准确率、毫秒级响应的行业第一梯队</p>