Beyond Mode Collapse: Generating Diverse Synthetic Expert Conversations via Generative Flow Networks

我们提出一种使用生成流网络（GFlowNets）生成多样化高质量合成数据的方法。我们表明，通过使用高斯混合密度来训练生成流网络以生成潜变量对话结构（如混淆阶段动态、支架指令平衡等），能够以训练数据中各策略的出现频率比例采样专家策略。在两个结构上不同的领域（辅导对话和情感支持对话）中，我们的基于GFlow的合成数据生成方法在保真度、模式覆盖和真实性方面优于强化学习和端到端LLM基线方法，而无需复制训练数据。