arXiv AI· Junhan Sun, Yigui Feng, Mingzhe Liu, Haoyan Xu, Lei Ye, Ziqi Han, Hanru Bai, Yanzhao Zhang, Hao Zhao, Guofeng Zhang·· 2 天前评分48
SADL: On the Demand-Supply Geometry of Representation Collapse
摘要
我们提出SADL(供应与需求损失),保留原训练目标,当需要时直接约束编码器。SADL比较投影器输出的表示差异与编码器可保留并传递给投影器的差异,并仅在供应不足需求时添加编码器约束。它兼容不同需求正则化器,引入无辅助网络、额外可训练参数或架构变更。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org