arXiv AI· Jingnan Pu, Zi-En Fan, Feng Lian·· 7 天前评分54
ER-JEPA: Experience Replay Improves Joint-Embedding Predictive Learning in Language Models
摘要
为了解决此问题，我们提出ER-JEPA，它在LLM-JEPA中添加了一个分段重放路径。ER-JEPA将训练对存储在内存中。在每一步，它存储并检索相关数据，以提供额外的监督。
推荐理由
请对照arXiv AI原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：arXiv AI · arxiv.org