The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring

假定通过定义教学性能指标并据此微调模型，可以提升大语言模型导师的教学质量。为验证此策略，我们设计了一个教学适应性指标，该指标根据学习情境的条件对学习序列中的每个教学决策进行评分，该指标是自动教学评分的标准。我们对一个前沿导师进行了2,000个学习场景的审计，通过微调开放权重代理修正其最弱环节，并在修正前和修正后请31位训练有素的教育者盲评输出的教学一致性。