arXiv cs.CY·· 13 天前AI 评分38
无规则裁决:LLM 合规系统中的监管规则敏感性诊断与审计
Verdict Without the Rule: Diagnosing and Auditing Regulatory Rule Sensitivity in LLM Compliance Systems
AI 导读
一项针对五个模型、20 个监管与平台政策领域的研究发现,删除、替换或否定所依据的监管规则后,模型合规裁决往往不变,内部合规表征也几乎不移动。其中 guard 模型规则敏感性最低、准确率仅 51%,接近随机水平,而通用模型为 90-92%。在删除规则会改变原正确预测的案件上,模型能紧密跟踪规则;更好的提示或对内部表征的直接干预均无法弥合这一差距。
来源:arXiv cs.CY · arxiv.org