八股集锦（高频问题）

整理者小熊饼干_查看原题集 ↗

大模型主要基于什么架构？有哪些部分组成
原题
关联题目Transformer 的整体原理是什么？模型基础与推理 / Transformer 与注意力原理机制进阶4篇相关面经
为什么大模型大多是decoder-only的架构？
原题
关联题目为什么主流大语言模型多采用 Decoder-only 架构？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经
大模型是如何训练/获取知识的？
原题
关联题目预训练、后训练到推理的流程是什么？模型训练与对齐 / 预训练、续训与 SFT原理机制基础1篇相关面经
什么是Transformer
原题
关联题目Transformer 的整体原理是什么？模型基础与推理 / Transformer 与注意力原理机制进阶4篇相关面经
Transformer的优缺点是什么？
原题
关联题目Transformer 有哪些优劣势，与其他架构相比如何？模型基础与推理 / Transformer 与注意力比较选型进阶1篇相关面经
什么是Transformer的编码器和解码器？分别有什么用
原题
关联题目Transformer 的整体原理是什么？模型基础与推理 / Transformer 与注意力原理机制进阶4篇相关面经
Decoder-only模型在训练阶段和推理阶段的输入格式有什么不同？
原题
关联题目Decoder-only 模型在训练和推理阶段的输入形式有什么不同？模型基础与推理 / 推理与解码原理机制进阶0篇相关面经
Transformer的Decoder阶段的多头自注意力和Encoder的多头自注意力有什么区别？
原题
关联题目Transformer 编码器与解码器中的注意力机制有什么区别？模型基础与推理 / Transformer 与注意力比较选型基础0篇相关面经
为什么要Decoder自注意力要进行Mask？
原题
关联题目Decoder 自注意力为什么需要因果掩码，具体如何实现？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经
Transformer掩码注意力机制具体是怎么做的？
原题
关联题目Decoder 自注意力为什么需要因果掩码，具体如何实现？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经
Transformer的并行化体现在哪些地方？Decoder端可以做并行化吗？
原题
关联题目Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？模型基础与推理 / Transformer 与注意力比较选型进阶1篇相关面经
Transformer中Attention的本质是什么？
原题
关联题目Transformer 中的 Attention 如何计算？模型基础与推理 / Transformer 与注意力原理机制进阶6篇相关面经
自注意力的计算方式和复杂度？
原题
关联题目Transformer 中的 Attention 如何计算？模型基础与推理 / Transformer 与注意力原理机制进阶6篇相关面经关联题目Self-Attention 的时间复杂度是多少，如何推导？模型基础与推理 / Transformer 与注意力原理机制进阶1篇相关面经
为什么自注意力计算要除$$\sqrt{d_k} $$
原题
关联题目Attention 为什么除以根号 d_k，不这样缩放还有什么替代方案？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经
介绍一下Transformer QKV的计算？
原题
关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础0篇相关面经
(追问)为什么要分成QKV，怎么计算的？同一个token向量是一样的吗？
原题
关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础0篇相关面经
自注意力中多头的好处?
原题
关联题目为什么使用多头注意力而不换成单头？模型基础与推理 / Transformer 与注意力比较选型基础0篇相关面经
为什么在进行多头注意力的时候需要对每个head进行降维
原题
关联题目多头注意力为什么要降低每个 Head 的维度？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经
交叉注意力你如何理解，与自注意力有什么区别。
原题
关联题目交叉注意力与自注意力有什么区别？模型基础与推理 / Transformer 与注意力比较选型基础0篇相关面经
什么是MoE模型？与Dense模型有什么区别？
原题
关联题目Dense 模型与 MoE 模型有什么区别？模型基础与推理 / 模型架构与表示比较选型进阶0篇相关面经
MoE模型有什么优势和劣势？
原题
关联题目MoE 模型有哪些优势和局限？模型基础与推理 / 模型架构与表示比较选型进阶0篇相关面经
为什么大模型都开始转向MoE？
原题
关联题目为什么越来越多的大模型采用 MoE 架构？模型基础与推理 / 模型架构与表示技术决策进阶0篇相关面经
什么是大模型的幻觉？
原题
关联题目什么是大模型幻觉？面前必看AI 应用工程与治理 / 生成质量与幻觉治理概念解释基础0篇相关面经
为什么大模型会产生幻觉？
原题
关联题目大模型为什么会产生幻觉？面前必看AI 应用工程与治理 / 生成质量与幻觉治理原理机制进阶0篇相关面经
如何解决大模型的幻觉问题？
原题
关联题目如何识别并治理大模型幻觉？AI 应用工程与治理 / 生成质量与幻觉治理故障排查进阶19篇相关面经
什么是Prompt Engineering？
原题
关联题目Context Engineering、Prompt Engineering 与 Harness Engineering 分别是什么？Agent 原理与系统 / Agent 框架与 Harness比较选型进阶5篇相关面经
提示词可以分几个部分，分别起什么作用？
原题
关联题目Prompt 常见结构有哪些？AI 应用工程与治理 / Prompt 与结构化输出原理机制基础8篇相关面经
如何优化大模型的提示词？
原题
关联题目Prompt 有哪些优化手段？AI 应用工程与治理 / Prompt 与结构化输出方案设计进阶1篇相关面经
如何评价一个提示词的好坏？
原题
关联题目如何评价一个提示词的好坏？AI 应用工程与治理 / Prompt 与结构化输出效果评估进阶0篇相关面经
提示词如何进行压缩
原题
关联题目提示词有哪些压缩方法，如何控制信息损失？AI 应用工程与治理 / Prompt 与结构化输出方案设计进阶0篇相关面经
大模型常见的解码方式
原题
关联题目大模型常见解码策略有哪些，贪心、Beam Search 与采样如何选择？模型基础与推理 / 推理与解码比较选型进阶0篇相关面经
Top p、Top k、Temperature(大模型解码参数)
原题
关联题目Temperature、Top-k 和 Top-p 怎样影响模型采样？模型基础与推理 / 推理与解码原理机制进阶4篇相关面经
什么是投机解码，与自回归有什么区别？
原题
关联题目投机解码的原理是什么？模型基础与推理 / 推理与解码原理机制进阶0篇相关面经
大模型解码推理的两个阶段是什么？
原题
关联题目大模型推理解码中的 Prefill 和 Decode 阶段分别做什么？模型基础与推理 / 推理与解码原理机制进阶0篇相关面经
(追问)为什么要做Prefill
原题
关联题目大模型推理为什么需要 Prefill 阶段？模型基础与推理 / 推理与解码原理机制基础0篇相关面经
KV Cache的动机和原理
原题
关联题目KV Cache 缓存什么，怎样影响推理速度和显存？模型基础与推理 / 推理优化与模型压缩原理机制进阶3篇相关面经
KV Cache的优缺点
原题
关联题目KV Cache 缓存什么，怎样影响推理速度和显存？模型基础与推理 / 推理优化与模型压缩原理机制进阶3篇相关面经
为什么有K和V Cache，没有Q Cache
原题
关联题目Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？模型基础与推理 / 推理优化与模型压缩原理机制进阶1篇相关面经
为什么KV cache显存利用率很低
原题
关联题目KV Cache 为什么容易造成显存利用率低？模型基础与推理 / 推理优化与模型压缩故障排查进阶0篇相关面经
如何优化KV Cache，有什么方式
原题
关联题目如何降低 KV Cache 空间开销，MQA 等结构起什么作用？模型基础与推理 / 推理优化与模型压缩方案设计进阶0篇相关面经
LLM的复读机现象是什么，如何解决？
原题
关联题目如何解决模型像复读机一样重复生成的问题？模型基础与推理 / 推理优化与模型压缩故障排查进阶1篇相关面经
DeepSeek模型系列演变
原题
关联题目DeepSeek 模型系列的架构与训练路线如何演进？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经
DeepSeek如何实现MoE机制
原题
关联题目DeepSeek V3 背后的模型架构是什么？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经
DeepSeek中的MLA原理是什么
原题
关联题目MLA 的原理是什么？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经
DeepSeek中的MTP如何实现
原题
关联题目DeepSeek 的 MTP 机制如何实现？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经
DeepSeek热门版本训练的关键步骤
原题
关联题目DeepSeek V3 的训练过程有哪些关键步骤？模型训练与对齐 / 预训练、续训与 SFT原理机制进阶0篇相关面经关联题目DeepSeek R1 的训练过程有哪些关键步骤？模型训练与对齐 / 强化学习与奖励原理机制进阶0篇相关面经
DeepSeekV3训练关键步骤
原题
关联题目DeepSeek V3 的训练过程有哪些关键步骤？模型训练与对齐 / 预训练、续训与 SFT原理机制进阶0篇相关面经
Deepseek R1 训练关键步骤
原题
关联题目DeepSeek R1 的训练过程有哪些关键步骤？模型训练与对齐 / 强化学习与奖励原理机制进阶0篇相关面经
Deepseek的百万Token窗口和RAG各有什么优劣？
原题
关联题目处理长文本为何选 RAG 而非微调或长上下文模型？RAG 与知识系统 / RAG 架构与生成链路比较选型进阶1篇相关面经
用过OpenClaw吗
原题
关联题目如何理解 OpenClaw？Agent 原理与系统 / Agent 应用架构与场景设计概念解释基础0篇相关面经
OpenClaw相比其他智能体框架的区别在哪里
原题
关联题目OpenClaw 与其他 Agent 框架有什么区别？Agent 原理与系统 / Agent 框架与 Harness比较选型进阶0篇相关面经
OpenClaw的记忆系统是如何设计的？
原题
关联题目OpenClaw 的记忆系统如何设计？Agent 原理与系统 / 记忆系统原理机制进阶0篇相关面经
OpenClaw还有什么问题没解决/局限性在哪里
原题
关联题目OpenClaw 目前有哪些局限？Agent 原理与系统 / Agent 框架与 Harness比较选型进阶0篇相关面经
RAG的基本流程
原题
关联题目RAG 从知识入库到在线问答的完整流程是什么？已有答案面前必看RAG 与知识系统 / RAG 架构与生成链路系统设计进阶52篇相关面经
RAG有什么用/解决了什么问题？
原题
关联题目RAG 是什么，有什么作用？RAG 与知识系统 / RAG 架构与生成链路概念解释基础3篇相关面经
RAG有哪些痛点问题/能够做哪些优化？
原题
关联题目RAG 检索遇到过哪些问题，如何定位和改进？RAG 与知识系统 / 召回策略与检索项目深挖进阶0篇相关面经
RAG与一般的微调方案相比有什么优势？/在微调和RAG之间为什么优选RAG
原题
关联题目处理长文本为何选 RAG 而非微调或长上下文模型？RAG 与知识系统 / RAG 架构与生成链路比较选型进阶1篇相关面经
知道Query重构吗，有哪些重构的方法？
原题
关联题目Query 重构有哪些常见方法，各适合什么场景？面前必看RAG 与知识系统 / 查询理解与改写方案设计进阶0篇相关面经
文档解析的作用是什么，解析不好会造成什么影响？
原题
关联题目文档解析在 RAG 中有什么作用，解析错误会带来哪些影响？面前必看RAG 与知识系统 / 文档解析与清洗原理机制基础0篇相关面经
不同格式的文档如何进行文档解析
原题
关联题目不同格式的文档应如何解析？RAG 与知识系统 / 文档解析与清洗方案设计进阶0篇相关面经
多级文档怎么保证在检索阶段保留层级信息？
原题
关联题目多级文档如何在检索阶段保留层级信息？RAG 与知识系统 / 文档切分与元数据方案设计进阶0篇相关面经
如何评价解析效果？
原题
关联题目如何评价文档解析效果？RAG 与知识系统 / RAG 评测与故障排查效果评估进阶0篇相关面经
为什么要Chunking？
原题
关联题目长文档为什么要在向量化前切片，不切片有什么后果？RAG 与知识系统 / 文档切分与元数据原理机制基础0篇相关面经
Chunking越大和越小各自存在什么问题？
原题
关联题目RAG 文档有哪些切分策略，如何确定块大小？RAG 与知识系统 / 文档切分与元数据方案设计进阶19篇相关面经
常见的Chunking方案
原题
关联题目语义、固定长度与递归切分如何比较，为什么选择递归切分？RAG 与知识系统 / 文档切分与元数据比较选型进阶0篇相关面经
如何设计一个好的Chunking方案
原题
关联题目RAG 文档有哪些切分策略，如何确定块大小？RAG 与知识系统 / 文档切分与元数据方案设计进阶19篇相关面经
如何根据chunk建立索引定位原文位置？
原题
关联题目如何为 Chunk 建立可回溯原文位置的索引？RAG 与知识系统 / 文档切分与元数据方案设计进阶0篇相关面经
如何将一个完整的段落和语义单元拆分到不同的chunks中？
原题
关联题目RAG 如何按语义切分文档并避免截断句子？RAG 与知识系统 / 文档切分与元数据方案设计进阶1篇相关面经
如何验证Chunking的质量
原题
关联题目如何评估分块效果并进行优化？RAG 与知识系统 / 文档切分与元数据效果评估进阶1篇相关面经
RAG如何做索引？
原题
关联题目RAG 怎样进行切片、向量化和存储，使用哪些工具？RAG 与知识系统 / 文档解析与清洗项目深挖进阶1篇相关面经
常见的向量索引算法有哪些
原题
关联题目常见的向量索引算法有哪些，如何选择？RAG 与知识系统 / 向量数据库与索引比较选型进阶0篇相关面经
在大规模文档嵌入建立索引的时候，存在很多相似性文档如何处理。
原题
关联题目大规模文档建索引时，如何处理大量相似或重复文档？RAG 与知识系统 / 文档解析与清洗方案设计进阶0篇相关面经
RAG如何做检索(BM25,Embedding,混合检索)
原题
关联题目向量检索、BM25、重排在混合 RAG 中如何配合？RAG 与知识系统 / 混合检索与重排序方案设计进阶6篇相关面经
多路召回RRF合并融合原理是什么
原题
关联题目RRF 如何融合向量检索与 ES 结果？RAG 与知识系统 / 混合检索与重排序原理机制进阶3篇相关面经
关键词检索和向量检索的比例在不同场景下如何确定
原题
关联题目混合检索权重如何配置？RAG 与知识系统 / 混合检索与重排序方案设计进阶1篇相关面经
不同检索方式各有什么问题
原题
关联题目向量检索与关键词检索有什么区别？RAG 与知识系统 / 召回策略与检索比较选型基础9篇相关面经关联题目BM25 有哪些局限？RAG 与知识系统 / 召回策略与检索原理机制进阶1篇相关面经关联题目直接使用向量检索召回会带来什么问题？RAG 与知识系统 / 召回策略与检索比较选型基础1篇相关面经
RAG文档很多如何保持检索的性能
原题
关联题目知识库有几十万文档时如何优化检索？RAG 与知识系统 / 召回策略与检索方案设计进阶1篇相关面经
RAG召回数量(Top k)过大过小分别有什么影响
原题
关联题目RAG 的 Top-K 如何选择和验证，怎样权衡召回不足与噪声？RAG 与知识系统 / 召回策略与检索效果评估进阶1篇相关面经
如何根据业务场景选择合适的Top k
原题
关联题目RAG 的 Top-K 如何选择和验证，怎样权衡召回不足与噪声？RAG 与知识系统 / 召回策略与检索效果评估进阶1篇相关面经
什么是向量化(Embedding)，有什么作用？
原题
关联题目Embedding 的本质是什么，各维度参数有什么含义？RAG 与知识系统 / Embedding 与向量表示原理机制进阶2篇相关面经
你了解哪些Embedding模型
原题
关联题目如何为检索场景选择和使用 Embedding 模型？RAG 与知识系统 / Embedding 与向量表示比较选型进阶6篇相关面经
Embedding模型在下游任务中存在什么缺陷
原题
关联题目Embedding 模型用于下游任务时有哪些局限？RAG 与知识系统 / Embedding 与向量表示比较选型进阶0篇相关面经
重排序阶段的作用是什么/精排和粗排的区别是什么？
原题
关联题目初筛召回后为什么需要 Rerank，它能弥补向量搜索哪些局限？RAG 与知识系统 / 混合检索与重排序原理机制基础0篇相关面经
Rerank模型和Embedding模型有什么区别
原题
关联题目Reranker 与 Embedding 模型在原理上有什么区别？RAG 与知识系统 / 混合检索与重排序比较选型进阶1篇相关面经
为什么要做Rerank/Rerank模型的作用
原题
关联题目初筛召回后为什么需要 Rerank，它能弥补向量搜索哪些局限？RAG 与知识系统 / 混合检索与重排序原理机制基础0篇相关面经
为什么不只做Rerank，而是对粗粒度的结果做精排？
原题
关联题目初筛召回后为什么需要 Rerank，它能弥补向量搜索哪些局限？RAG 与知识系统 / 混合检索与重排序原理机制基础0篇相关面经
两阶段粗排序+精排序有什么优缺点？
原题
关联题目粗排加精排的两阶段排序有哪些优缺点？RAG 与知识系统 / 混合检索与重排序比较选型进阶0篇相关面经
GraphRAG解决了RAG的什么问题？
原题
关联题目GraphRAG 与纯向量检索有什么区别，适合解决哪些问题？RAG 与知识系统 / 知识图谱与 GraphRAG比较选型进阶0篇相关面经
GraphRAG知识图谱的建立过程
原题
关联题目知识图谱如何构建与维护，难点是什么？RAG 与知识系统 / 知识图谱与 GraphRAG项目深挖进阶2篇相关面经
GraphRAG常见的检索样式有哪些？
原题
关联题目GraphRAG 有哪些常见检索方式？RAG 与知识系统 / 知识图谱与 GraphRAG方案设计进阶0篇相关面经
GraphRAG相比传统的RAG有什么劣势
原题
关联题目GraphRAG 与纯向量检索有什么区别，适合解决哪些问题？RAG 与知识系统 / 知识图谱与 GraphRAG比较选型进阶0篇相关面经
还有哪些GraphRAG算法，分别解决原始GraphRAG的什么问题
原题
关联题目GraphRAG 有哪些改进算法，它们分别解决什么问题？RAG 与知识系统 / 知识图谱与 GraphRAG比较选型进阶0篇相关面经

题目目录

大模型主要基于什么架构？有哪些部分组成

为什么大模型大多是decoder-only的架构？

大模型是如何训练/获取知识的？

什么是Transformer

Transformer的优缺点是什么？

什么是Transformer的编码器和解码器？分别有什么用

Decoder-only模型在训练阶段和推理阶段的输入格式有什么不同？

Transformer的Decoder阶段的多头自注意力和Encoder的多头自注意力有什么区别？

为什么要Decoder自注意力要进行Mask？

Transformer掩码注意力机制具体是怎么做的？

Transformer的并行化体现在哪些地方？Decoder端可以做并行化吗？

Transformer中Attention的本质是什么？

自注意力的计算方式和复杂度？

为什么自注意力计算要除$$\sqrt{d_k} $$

介绍一下Transformer QKV的计算？

(追问)为什么要分成QKV，怎么计算的？同一个token向量是一样的吗？

自注意力中多头的好处?

为什么在进行多头注意力的时候需要对每个head进行降维

交叉注意力你如何理解，与自注意力有什么区别。

什么是MoE模型？与Dense模型有什么区别？

MoE模型有什么优势和劣势？

为什么大模型都开始转向MoE？

什么是大模型的幻觉？

为什么大模型会产生幻觉？

如何解决大模型的幻觉问题？

什么是Prompt Engineering？

提示词可以分几个部分，分别起什么作用？

如何优化大模型的提示词？

如何评价一个提示词的好坏？

提示词如何进行压缩

大模型常见的解码方式

Top p、Top k、Temperature(大模型解码参数)

什么是投机解码，与自回归有什么区别？

大模型解码推理的两个阶段是什么？

(追问)为什么要做Prefill

KV Cache的动机和原理

KV Cache的优缺点

为什么有K和V Cache，没有Q Cache

为什么KV cache显存利用率很低

如何优化KV Cache，有什么方式

LLM的复读机现象是什么，如何解决？

DeepSeek模型系列演变

DeepSeek如何实现MoE机制

DeepSeek中的MLA原理是什么

DeepSeek中的MTP如何实现

DeepSeek热门版本训练的关键步骤

DeepSeekV3训练关键步骤

Deepseek R1 训练关键步骤

Deepseek的百万Token窗口和RAG各有什么优劣？

用过OpenClaw吗

OpenClaw相比其他智能体框架的区别在哪里

OpenClaw的记忆系统是如何设计的？

OpenClaw还有什么问题没解决/局限性在哪里

RAG的基本流程

RAG有什么用/解决了什么问题？

RAG有哪些痛点问题/能够做哪些优化？

RAG与一般的微调方案相比有什么优势？/在微调和RAG之间为什么优选RAG

知道Query重构吗，有哪些重构的方法？

文档解析的作用是什么，解析不好会造成什么影响？

不同格式的文档如何进行文档解析

多级文档怎么保证在检索阶段保留层级信息？

如何评价解析效果？

为什么要Chunking？

Chunking越大和越小各自存在什么问题？

常见的Chunking方案

如何设计一个好的Chunking方案

如何根据chunk建立索引定位原文位置？

如何将一个完整的段落和语义单元拆分到不同的chunks中？

如何验证Chunking的质量

RAG如何做索引？

常见的向量索引算法有哪些

在大规模文档嵌入建立索引的时候，存在很多相似性文档如何处理。

RAG如何做检索(BM25,Embedding,混合检索)

多路召回RRF合并融合原理是什么

关键词检索和向量检索的比例在不同场景下如何确定

不同检索方式各有什么问题

RAG文档很多如何保持检索的性能

RAG召回数量(Top k)过大过小分别有什么影响

如何根据业务场景选择合适的Top k