TraceKV: Policy-Preserving Low-Rank KV Cache Compression for Reasoning Vision-Language Models

为解决这些挑战，我们提出TraceKV，一种无需训练的低秩KV压缩框架，统一了在线校准、感知-aware SVD和全局秩分配，遵循单一政策保持原则，显著减少推理中的政策-KL散度。在多个视觉语言模型和视觉推理基准上进行实验，证明了优越的准确性—内存权衡，当与量化结合时，通过5.64$ imes$ KV缓存压缩实现接近无损推理准确性。优化的低秩注意力核进一步实现高达1.83$ imes$ 端到端解码速度提升。