Lost in the Fallback: How Reliably Do Typed Decision Models Use Fallback Options?

我们引入配对回退鲁棒性（PFR）测试，评估两种回退可靠性方面：模型是否正确切换常规与回退选项，以及在相同规则逻辑等价定义下是否做出一致决策。我们在三个基准上评估开源决策模型，通过控制架构和参数数量进行对比。我们发现正确识别无法可靠地转移到正确回退选项，错误在正确类别明确提供时仍存在。此外，相同回退规则的逻辑等价表述也可能导致模型决策出现显著分歧。