Your Transformer Is Secretly Elastic

我们提出一种无需重新训练的方法，将预训练的变压器弹性地转化为一个单一模型，能够在计算预算的连续范围内动态适应。我们的主要贡献是不同iable 的功能单元排序问题的放松：与以往工作不同，它不优化每个MLP块或注意力头的单个重要性权重，而是联合地对每个MLP神经元和注意力头进行排序，以在多种稀疏目标上通过软剪枝最小化模型的损失。在从22M到8B参数的27个视觉和文本变换器编码器上，我们的方法实现了平滑的退化，达到60%种稀疏度，并在深度剪枝下优于一次性基线。