arXiv AI· Julien Delaunay·· 2 天前评分53
Can the Confidence and Decisions of System 1 Models Be Trusted? An Explainability and Perturbation Audit of Jev-Style Decision Models
摘要
我们引入一个开放、确定性的审计基准，评估系统1决策模型在标签保持扰动下的校准性能，包括跨问题干扰和后验信任度。评估五种开放权重模型(0.8B至27B)以及生成式系统2基线——单token logprob评分和结构化JSON/CoT解码——在NLI（e-SNLI）、对抗性句法捷径（HANS）、合成临床分诊（N=900）、提示注入防御（Tensor Trust，N=250）和86案例逻辑门触发器套件中，得出五个结论：(1) 提供者信心是精确的闭合形式扩散变换（1 - H(p)/ln K 在子10B模型上；Clef-27B的归一化边缘），而非经验准确度；(2) 将多个问题打包成一个请求会引发方向性跨问题干扰（Tev1-0.8B二进制翻转，与/无）
推荐理由
请对照arXiv AI原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：arXiv AI · arxiv.org