跳到正文
arXiv AI· Giannis Daras, Marios Papachristou, Adam Klivans, Antonio Torralba, Constantinos Daskalakis·· 15 小时前评分59

Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching

摘要

为防止这种坍塌,我们引入了 Ambient SFT,这是一种基于原则的框架,利用不完美的预测来增强微调集。在我们的方法中,预训练模型的“冻结”版本作为噪声教师,微调模型必须在粗粒度层面匹配。特别是,我们要求后训练模型生成的条件分布的高温版本应与预训练版本的高温版本相匹配。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org