arXiv AI· Ellis Brown, Chris Hoang, Shengyi Qian, Shang-Wen Li, Mike Lewis, Marjan Ghazvininejad, Luke Zettlemoyer, Lucas Beyer, Mengye Ren, Jakob Verbeek, Saining Xie, Hu Xu·· 14 小时前评分58
Unbundling Multimodal Vision Encoding
摘要
多模态语言模型如何编码视觉输入仍存在争议。大多数模型使用预训练的视觉编码器，而一些最新方案则从头训练编码器，或完全移除它。视觉编码器包含三个设计选择：来自上游预训练的视觉先验、专用的视觉能力，以及该能力的前置位置（即在多模态主干之前）。
推荐理由
请对照arXiv AI原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：arXiv AI · arxiv.org