WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning

本工作提出WaveGen，一种基于频谱强迫的端到端文本到波形框架，联合学习单个模型内的频谱轨迹和目标波形轨迹，实现直接端到端文本到波形生成。不同于近期的TTS管道，WaveGen不依赖于单独训练或外部解码的中间表示，如神经音频编码器、Mel-谱图语音编码器或基于VAE的潜在模型。此外，WaveGen在单个模型内实现文本语音对齐，无需外部对齐模块如持续预测器。