SciExam for ENSO: Can AI Agents Build Climate Models?

语言模型代理越来越多地被要求执行开放式的科学研究，但其结果通常被评估为已知答案、评分标准或语言模型评审员，这些都无法判断一个新科学模型是否有效。El Nino-Southern Oscillation（ENSO）人工智能科学考试（SciExam for ENSO）是一个基准，代理从真实观测数据中构建低阶随机模型，以模拟ENSO，这是年际气候变化的主要模式。在六小时内，代理处理观测数据，编写自己的诊断方法，然后将其冻结，并仅使用这些诊断方法作为反馈来构建模型。