arXiv AI· Shivam Duggal, Zongze Wu, William T. Freeman, Antonio Torralba, Richard Zhang, Eli Shechtman·· 2 天前评分23
Latent Lattice Language Models
摘要
我们引入了潜层格(Lattice of Latents),这是一种在每一层上运行的水平潜流,与垂直残差流并行运行。类似超连接、mHC以及注意力或值残差,潜层格增强残差流,但不通过深度添加或重新路由残差路径,而是提供持续存在的配对计算状态。不同于混合Transformer-SSM架构,其递归状态主要作为序列混合的内部记忆,这些潜层直接条件垂直流的注意力、KV缓存写入、MLP计算和解码。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org