面试之前，先来面栈
搜索

八股集锦（高频问题）

整理者 小熊饼干_查看原题集 ↗

题目目录

92 道原题

  1. 大模型常见的解码方式

    原题
    关联题目大模型常见解码策略有哪些，贪心、Beam Search 与采样如何选择？模型基础与推理 / 推理与解码比较选型进阶0篇相关面经

  2. Top p、Top k、Temperature(大模型解码参数)

    原题
    关联题目Temperature、Top-k 和 Top-p 怎样影响模型采样？模型基础与推理 / 推理与解码原理机制进阶4篇相关面经

  3. 什么是投机解码，与自回归有什么区别？

    原题
    关联题目投机解码的原理是什么？模型基础与推理 / 推理与解码原理机制进阶0篇相关面经

  4. 大模型解码推理的两个阶段是什么？

    原题
    关联题目大模型推理解码中的 Prefill 和 Decode 阶段分别做什么？模型基础与推理 / 推理与解码原理机制进阶0篇相关面经

  5. (追问)为什么要做Prefill

    原题
    关联题目大模型推理为什么需要 Prefill 阶段？模型基础与推理 / 推理与解码原理机制基础0篇相关面经

  6. KV Cache的动机和原理

    原题
    关联题目KV Cache 缓存什么，怎样影响推理速度和显存？模型基础与推理 / 推理优化与模型压缩原理机制进阶3篇相关面经

  7. KV Cache的优缺点

    原题
    关联题目KV Cache 缓存什么，怎样影响推理速度和显存？模型基础与推理 / 推理优化与模型压缩原理机制进阶3篇相关面经

  8. 为什么有K和V Cache，没有Q Cache

    原题
    关联题目Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？模型基础与推理 / 推理优化与模型压缩原理机制进阶1篇相关面经

  9. 为什么KV cache显存利用率很低

    原题
    关联题目KV Cache 为什么容易造成显存利用率低？模型基础与推理 / 推理优化与模型压缩故障排查进阶0篇相关面经

  10. 如何优化KV Cache，有什么方式

    原题
    关联题目如何降低 KV Cache 空间开销，MQA 等结构起什么作用？模型基础与推理 / 推理优化与模型压缩方案设计进阶0篇相关面经