跳到正文
arXiv AI· Junhan Sun, Yigui Feng, Mingzhe Liu, Haoyan Xu, Lei Ye, Ziqi Han, Hanru Bai, Yanzhao Zhang, Hao Zhao, Guofeng Zhang·· 2 天前评分48

SADL: On the Demand-Supply Geometry of Representation Collapse

摘要

我们提出SADL(供应与需求损失),保留原训练目标,当需要时直接约束编码器。SADL比较投影器输出的表示差异与编码器可保留并传递给投影器的差异,并仅在供应不足需求时添加编码器约束。它兼容不同需求正则化器,引入无辅助网络、额外可训练参数或架构变更。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org