Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models

随着大语言模型（LLMs）持续扩展，推理过程中的能耗已成为关键关注点。尽管自回归（AR）模型是行业标准，但扩散语言模型（DLLMs）作为一种有前景的替代方案，能够实现并行令牌生成。本文对扩散模型（LLaDA-8B，Dream-7B）与自回归对应模型（Llama-3.1-8B，Qwen-2.5-7B）进行能效对比。