面试之前，先来面栈
搜索

八股集锦（高频问题）

整理者 小熊饼干_查看原题集 ↗

题目目录

92 道原题

  1. Transformer的并行化体现在哪些地方？Decoder端可以做并行化吗？

    原题
    关联题目Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？模型基础与推理 / Transformer 与注意力比较选型进阶1篇相关面经

  2. Transformer中Attention的本质是什么？

    原题
    关联题目Transformer 中的 Attention 如何计算？模型基础与推理 / Transformer 与注意力原理机制进阶6篇相关面经

  3. 自注意力的计算方式和复杂度？

    原题
    关联题目Transformer 中的 Attention 如何计算？模型基础与推理 / Transformer 与注意力原理机制进阶6篇相关面经关联题目Self-Attention 的时间复杂度是多少，如何推导？模型基础与推理 / Transformer 与注意力原理机制进阶1篇相关面经

  4. 为什么自注意力计算要除$$\sqrt{d_k} $$

    原题
    关联题目Attention 为什么除以根号 d_k，不这样缩放还有什么替代方案？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经

  5. 介绍一下Transformer QKV的计算？

    原题
    关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础0篇相关面经

  6. (追问)为什么要分成QKV，怎么计算的？同一个token向量是一样的吗？

    原题
    关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础0篇相关面经

  7. 自注意力中多头的好处?

    原题
    关联题目为什么使用多头注意力而不换成单头？模型基础与推理 / Transformer 与注意力比较选型基础0篇相关面经

  8. 为什么在进行多头注意力的时候需要对每个head进行降维

    原题
    关联题目多头注意力为什么要降低每个 Head 的维度？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经

  9. 交叉注意力你如何理解，与自注意力有什么区别。

    原题
    关联题目交叉注意力与自注意力有什么区别？模型基础与推理 / Transformer 与注意力比较选型基础0篇相关面经

  10. 什么是MoE模型？与Dense模型有什么区别？

    原题
    关联题目Dense 模型与 MoE 模型有什么区别？模型基础与推理 / 模型架构与表示比较选型进阶0篇相关面经