arXiv AI· Tiantong Wang, Zhiren Gong, Yixin Wang, Tiantong Wu, Wei Yang Bryan Lim·· 3 天前评分42
From Local Prediction Error to Final Outputs: A Theory of Expert Sharing in Multi-Step Reasoning
摘要
混合专家模型(MoE)可以跨层或计算步骤共享专家,聚合来自不同上下文的训练信息。这可减少局部预测误差,但多步骤系统最终由其最终输出评估。我们研究这些局部收益是否能在组合中保持。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org