arXiv AI· Afshin Khadangi·· 12 小时前评分51
Continuum Attention
摘要
我们引入连续注意力（CA），一种因果变换器注意力操作符，取代离散的键值查找，采用连续、分段线性记忆曲线进行整合。每个查询在曲线上产生指数相关密度。整合密度与插值值，获得精确的归一化注意力，包括半令牌边界贡献。
推荐理由
请对照arXiv AI原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：arXiv AI · arxiv.org
Continuum Attention