CoDA: Co-Evolution of Data Engines and Action Policies

我们引入CoDA，这是一个框架，其中模拟数据引擎和动作策略通过共享的环境构建、策略失败和学习进展的异构内存共同进化。该内存将视觉语言批评家验证的诊断编译为生成程序，用于重现困难和帮助策略克服它们的训练程序。我们进一步提出Text2potential，将这些诊断转换为分阶段的潜在值，用于动作块价值学习，提供密集监督，同时在标准塑造假设下保留任务的最优策略。