面试之前，先来面栈
搜索

推理优化与模型压缩

8 个专题 · 179 道题

已筛选

共 23 道题

排序：

0603
模型推理时 Batch Size 如何设置？
模型基础与推理推理优化与模型压缩
项目深挖
进阶
1 篇面经
0616
如何解决模型像复读机一样重复生成的问题？
模型基础与推理推理优化与模型压缩
故障排查
进阶
1 篇面经1 份题集
1665
上下文压缩后 KV Cache 是否失效？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
2153
大模型如何逐步生成 Token？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
2465
Lost in the Middle 现象是什么原理？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经1 份题集
2775
如何用 KV Cache 和稀疏注意力节省计算与存储？
模型基础与推理推理优化与模型压缩
比较选型
进阶
1 篇面经
3618
vLLM 的 PagedAttention 如何工作？
模型基础与推理推理优化与模型压缩
原理机制
进阶
1 篇面经
2776
如何降低 KV Cache 空间开销，MQA 等结构起什么作用？
模型基础与推理推理优化与模型压缩
方案设计
进阶
暂无面经2 份题集
2836
模型量化为什么能够发挥作用？
模型基础与推理推理优化与模型压缩
原理机制
进阶
暂无面经
3533
了解哪些大模型推理框架？
模型基础与推理推理优化与模型压缩
经历介绍
—
暂无面经