arXiv AI· Leo Dobson, Anton Ragni·· 23 小时前评分53
Temporal Rank in Recurrent Neural Networks
摘要
为了解决这个问题,我们引入了结构化的高维状态动力学,保持时间可分离性并防止输入到状态雅可比矩阵随时间饱和。在受控序列任务中,结果模型在保持严格遵循标准RNN结构的同时表现出快速学习能力。我们的结果表明,RNN性能由时间秩的演变和保持所决定,并建议仅通过缓解梯度病理问题不足以实现,必须明确维护时间容量。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org