跳到正文
arXiv AI· Leo Dobson, Anton Ragni·· 23 小时前评分53

Temporal Rank in Recurrent Neural Networks

摘要

为了解决这个问题,我们引入了结构化的高维状态动力学,保持时间可分离性并防止输入到状态雅可比矩阵随时间饱和。在受控序列任务中,结果模型在保持严格遵循标准RNN结构的同时表现出快速学习能力。我们的结果表明,RNN性能由时间秩的演变和保持所决定,并建议仅通过缓解梯度病理问题不足以实现,必须明确维护时间容量。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org