MuSeToM: Multi-Sensory Evaluation of Belief Revision with Textual Cues Across Six Senses

为填补此空缺，我们提出MuSeToM，一个基于文本的人类验证基准，用于评估ToM推理中的知识信念修正。MuSeToM包含2,415个实例，源自BigToM和OpenToM，涵盖六种感官类别，并测试模型是否能判断主角何时应修正信念并推断更新后的信念状态。使用MuSeToM，我们系统地评估最新一代LLMs在直接和链式思维提示下的表现，揭示出显著的矛盾：尽管模型通常能检测到信念可能变化，但难以识别更新后的信念，并且频繁地在感知上显著但知识上不足的线索上进行过度更新。