给 AI 审核打分：线上问题评测集 + 无效意见率 + 轮数四规
做法： AI 审核不能只”有没有”，要能被打分、能收敛。Anthropic（经马克转述）围绕三个指标运营这道关卡：
- 评测集给审核打分：每次线上事故记两样——出了什么问题、哪个 PR 引入的——合成一个自带标准答案的案例；攒成评测集。把案例里的 PR 重新过一遍 AI 审核：找到真实问题得 1 分、漏掉 0 分，总分为基准分。之后改提示词、换工具、换模型，用同一评测集重打分，涨了才留下修改。
- 无效意见率：只考”找到没”会让 AI 学会报得越多越得分，所以同时统计废话比例。两条测法——按 PR 作者对每条意见的反馈分四类（改了=有用；说它错了/说故意这么写/觉得无所谓=无效），算无效率；或拿确认干净的 PR 去跑审核，报出来的基本全是无效。每次调整要”分数涨＋无效率降”双向才算有效。
- 轮数四规（审核↔修改死循环的病根：审核每轮挑新毛病，或写的 AI 怎么改都不对）：①超过三轮没过就停下重想整体思路，别再一点点改；②前几轮之后只审新改动的部分〔原视频此处约 104 秒字幕缺段，这条的完整讲法未采到，落地前看原视频〕；③同类问题一次全部指出，免得改完这处下轮又挑那处；④已提过的意见不再重复。Anthropic 称上规后一轮即过的 PR 从 65% 升到 78%（自报口径）。
洞察： 这是把”质检”本身变成了被质检对象——评测集的用例不用人造，用线上事故+肇事 PR 这对天然配对，标准答案内嵌在物料里。与库内《有标准答案就拿它当抽检锚》（独立老师用教辅答案区对 AI 录题结果）完全同构，只是对象从”录入”升到了”审核流程”——复检的复检。第二条更狠：承认”少说废话”必须单独计量，否则任何评审系统都会被”宁滥勿缺”的策略薅分。
启示： 对业主自家管线三处直接可搬（A 级库内，均已有载体）：①沉淀质检——攒”翻车样本”（错分/漏提的条目+当时的输入），每改一次 SKILL/提示词跑一遍打分，替代凭感觉调规程（对账 卡片/方法/10-16-基线先行写作质检-RIA卡——同属”先有基线再谈改动”）；②告警无效率——fail-loud 告警的自我喂养事故（未识别计数 1→11 永不收敛，见 SKILL 故障排查）正是”轮数四规”治的病，“超三轮停下重想思路”可直接立为无人值守会话的判停点：同一问题回头改三轮不过，说明要改的是流程不是产物（关联 卡片/方法/10-12-Ralph长任务纪律）；③审核三分类处理规矩（重要/小/已有，每条必须回应或写明理由关掉）适用于任何 agent 互审协议。
提醒： 二手转述（Anthropic 原文→马克讲解），65%→78%、“一晚上 50 多轮”等数字全部自报、视频未附原文回链，对外引用前必回源；评测集方法的前提是有”线上事故→肇事 PR”的完整归因链，小团队没有事故台账时第 1 条无从起步（可先用人工记的”翻车+责任提交”降级替代，推测，置信中；验证路径：拿 state.db 里 3 条判错过的沉淀条目当种子案例，20 分钟可建出最小评测集）；“只审新改动”一条讲解缺段，按本卡落地前先补看原视频；该流程服务于高频发布工程团队，个人管线借用时第 2、3 条性价比最高，第 1 条要攒够案例才启动。
📺 马克的技术工作坊，抖音，2026-10-26 · 原视频 · 库内 2026-10-28-从写代码到上线，一套保证产品质量的全流程最近，Anthr · 速览 速览/2026-10-28-AI代码审核不是审代码-全流程九重关 · 同构 卡片/观点/10-12-有标准答案就拿它当抽检锚 · 邻近 卡片/方法/10-22-Jev分层配模型与影子上线法 · 强化 卡片/观点/10-12-AI越强人越像监工