AI情报2026年9月3日AI情报
文章
研究人员推出HeadWiseKV框架以压缩混合语言模型缓存
研究人员推出了HeadWiseKV，这是一个无需训练的框架，旨在压缩混合语言模型中的残差全局键值（KV）缓存。它为每个物理KV头分配一个静态的多级历史窗口，使缓存需求在服务之前即可预测。
Frontier 编辑部来源: arXiv
研究人员推出了HeadWiseKV，这是一个无需训练的框架，旨在压缩混合语言模型中的残差全局键值（KV）缓存。它为每个物理KV头分配一个静态的多级历史窗口，使缓存需求在服务之前即可预测。