跳到正文
arXiv AI· Jiahang Liu, Wenbo Zhang, Junsong Wang, Zhenzhi Ying, Siqi Hou, Naohiko Sugita, Liming Shu·· 1 天前评分45

DoF-Query Transformer for Adaptive Fusion of Egocentric Vision and Forearm HD-sEMG in Continuous Hand Kinematics

摘要

我们提出了一种无需手部束缚的多模态框架,从第一人称RGB图像和128通道的 forearm 高密度表面肌电图(HD-sEMG)中连续回归20个手指关节角度。该框架结合了基于视觉变换器的视觉编码器、基于变换器的肌电图编码器以及度自由度(DoF)查询变换器融合解码器。为应对关节DoF和输入条件中视觉与肌电图线索的多样信息,解码器为每个DoF分配单独可学习的查询,实现针对特定DoF和上下文自适应的两种模态融合。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org