如何降低 KV Cache 空间开销，MQA 等结构起什么作用？

知识专题：推理优化与模型压缩题目类型：方案设计技术难度：进阶相关面经：1 篇收录题集：2 份

暂无参考答案

未标记

本题目录

相关面经

1 篇

阿里巴巴

大模型推荐算法工程师

2026-06-01一面

查看原面经 →

怎么降低kvcache空间计算，使用多头注意力？MQA，MoE？

收录题集

2 份

八股集锦（高频问题）

小熊饼干_ · 个人整理 · 收录 1 道

查看题集 →

如何优化KV Cache，有什么方式

大模型工程面试题

小林 Coding · 个人整理 · 收录 1 道

查看题集 →

多头注意力（MHA）有哪些局限？MQA、GQA、Flash Attention 怎么解决？