Online LLM Personalization from Pairwise Preferences Across Users

首先，我们介绍问题并发布一个可复现的偏好基准和数据集，基于一个辅导案例研究，包含教育问题、六种教学风格下LLM生成的答案，以及隐藏偏好轮廓的LLM模拟学生对的对弈判断。我们使用Bradley-Terry模型对这些判断进行拟合，以获得用于后悔评估的参考效用。其次，我们提出一个基线方法，从已完成的会话中学习用户混合先验，并在会话内适应每个新用户。