Latent Compaction with Test-Time Training

我们引入**潜层压缩**，通过测试时训练学习一个紧凑的文档特定缓存。我们使用重建重要性、教师注意力和键空间多样性初始化缓存条目。训练首先将注意力输出和对数归一化器拟合到完整缓存的输出中，重建选择的条目保持固定。