Apple Machine Learning Research·· 1 天前精选评分80
Theoretical Limits of Language Model Alignment
摘要
语言模型（LM）对齐可使模型输出反映人类偏好，同时保留基础模型的能力。最常见的对齐方法包括（i）强化学习，通过在KL散度约束下最大化期望奖励，以及（ii）最佳NNNN对齐，从NNNN独立样本中选择最高奖励输出。尽管广泛使用，但KL预算下的奖励提升基础限制仍不明确。我们通过推导最大……
推荐理由
请对照Apple Machine Learning Research原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：Apple Machine Learning Research · machinelearning.apple.com