arXiv AI· Glenn Matlin, Chandreyi Chakraborty, Mohammed Rehan Parwani, Saehee Eom, Anthony Wen-Ming Zang, Akhil Theerthala, Arjun Chatterjee, Tejas Khandwekar, Brandon Michaels, Alvin Deng, Mark Riedl·· 2 天前评分45
Data Attribution Should Steer Pretraining
摘要
预训练数据清洗决定模型从何处学习,但使文档值得学习取决于模型已知的内容。基于影响的选择器已将文档排序以提升单次运行效果;我们主张训练数据归属应通过识别可测试的数据属性,作为可复用的清洗标准,其评估在新数据上,以匹配总成本的便宜选择器进行。文档排序由其计算的运行消耗,而可解释的数据属性可跨语料库和检查点进行测试,尤其在熟悉质量信号与测量有用性存在差异时。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org