arXiv AI· Yupeng Tang, Mingfeng Lin·· 19 小时前评分58
When Expert Disagreement Hurts: Prestige and Selectivity in LLM Decision Revision
摘要
我们引入了一种控制的两步审计,固定问题、证据和模型初始答案,仅改变修订上下文:中性反思、匿名反对或归因于领域专家。对于二元决策,会计是精确的:修订仅提升准确度若其选择足够,错误答案被反转的次数比正确答案多 $a/(1-a)$ 次,其中 $a$ 是初始准确度(九次于 90%)。在五种模型和 1,989 以医学、科学和法律为基础的决策中,专家分歧下无模型通过此标准,准确度下降最多 16.1 个百分点。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org