跳到正文
arXiv AI· Tiantong Wang, Zhiren Gong, Yixin Wang, Tiantong Wu, Wei Yang Bryan Lim·· 3 天前评分42

From Local Prediction Error to Final Outputs: A Theory of Expert Sharing in Multi-Step Reasoning

摘要

混合专家模型(MoE)可以跨层或计算步骤共享专家,聚合来自不同上下文的训练信息。这可减少局部预测误差,但多步骤系统最终由其最终输出评估。我们研究这些局部收益是否能在组合中保持。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org