跳到正文
原文
arXiv cs.CY·· 13 天前AI 评分62

研究审计法律思维链忠实性:模型援引法条与裁判结论依赖脱节

Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness

AI 导读

一项针对法律推理的研究对七个开源模型(8B至70B)在四个基准上做反事实审计,固定案件事实后替换模型援引的法律依据,观察裁判结论是否随之改变。结果显示,模型在66.7%至100%的生成中援引了正确依据,但结论随依据变化的比例仅为0.0%至21.7%(CaseHOLD)、30.0%至76.7%(ECHR与SCOTUS)和43.3%至50.0%(ContractNLI)。

来源:arXiv cs.CY · arxiv.org