跳到正文
arXiv AI· John Gideon, Anshul Gupta, Megan Applegate-Kenton, Kayli Battel, Todd J Rowell, Patricio Reyes Gomez, Laporsha Dees, Emily Sumner, Avinash Balachandran, Guy Rosman·· 15 小时前评分59

Multimodal Masked Diffusion Autoencoder for Modeling Impaired Driving

摘要

我们提出一种多模态掩码扩散自动编码器,ID-MAE,它添加了一个自监督目标以改善功能障碍预测:除了预测功能障碍标签作为掩码令牌外,它还重建了掩码的注视和轨迹。为探究不同模态和类型的功能障碍对模型推理的影响,我们引入了DIVERT,一个包含103小时驾驶数据(n = 109)的驾驶模拟器数据集,包含十种功能障碍诱导,涵盖认知、视觉和情绪状态,数据包括注视、车辆状态和场景视频。我们展示了ID-MAE在DIVERT数据集和现有数据集上显著提升功能障碍预测结果,并在诸如轨迹和注视预测等附加任务中实现强结果。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org