跳到正文
arXiv AI· Yuyan Wang, Yuechen Jiang, Zhiwei Liu, Jimin Huang, Sophia Ananiadou·· 3 天前评分48

THEATRON: A Benchmark for Evaluating Persona Persistence in Long-Horizon LLM Decision-Making

摘要

我们引入THEATRON,一个受控基准测试,使用财务重演来评估长时序决策中的角色持续性。在这些环境中,基于固定行为-财务角色的模型观察共享每日市场证据和轨迹特定的账户状态反馈,并在多月轨迹上进行序列决策。我们通过四个LLM评估零次、一次和链式思维角色注入,使用累积回报和动作轨迹来诊断个体角色稳定性、跨角色可分离性和动作坍塌。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org