跳到正文
arXiv AI· Yuxin Jiang, Wenqiang Sun, Jiaqi Li, Yuchao Gu, Lvmin Zhang, Ivor Tsang, Mike Zheng Shou·· 12 小时前评分54

One Prior, Two Dynamics: Repurposing Video Diffusion Transformers for Self-Supervised Latent Action Learning

摘要

我们引入O$^{2}$LaF,基于简单原理:一个先验,两个动力学。我们从相同的预训练视频DiT初始化两个模型,并适配其不同角色:一个前向过渡编码器,具备可学习的动作查询以处理逆动力学;另一个因果、动作条件的视频生成器以处理正动力学。通过控制信息访问并端到端优化两个动力学,O$^{2}$LaF从未标注视频中学习可转移动作。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org