跳到正文
arXiv AI· Jimin Mun, Maarten Sap, Yanai Elazar·· 3 天前评分52

LECAT: Measuring LLM Category Learning from Pretraining Data

摘要

我们引入LeCat,一个两部分框架,用于分析LLM的类别知识学习。首先,我们使用LeCat评估模型在学习类别知识方面的能力,区分三种情况:记忆领域内类别知识、泛化到未见过的实例,以及灵活运用知识在适当情境中的能力。然后,我们使用LeCat追踪在预训练过程中,如何从文本中学习这种知识,文本可能以逐字重复或例外等形式编码类别知识,我们称之为“知识表达”形式。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org