面试之前，先来面栈
搜索

KV Cache 为什么容易造成显存利用率低？

知识专题：推理优化与模型压缩题目类型：故障排查技术难度：进阶收录题集：1 份

暂无参考答案

未标记

本题目录

收录题集

1 份

八股集锦（高频问题）

小熊饼干_ · 个人整理 · 收录 1 道

查看题集 →

为什么KV cache显存利用率很低

相关题目

4 题
0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0277FlashAttention 为什么能节省显存并提速，是否改变注意力结果？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0502有哪些大模型推理加速技术？同一知识专题题目类型：方案设计技术难度：进阶相关面经：2 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇