推理与解码

8 个专题 · 179 道题

2757

Temperature、Top-k 和 Top-p 怎样影响模型采样？

模型基础与推理推理与解码

原理机制

进阶

4 篇面经 2 份题集

2279

为什么 Temperature 为 0 时模型输出仍可能有差异？

模型基础与推理推理与解码

原理机制

进阶

2917

投机解码的原理是什么？

模型基础与推理推理与解码

原理机制

进阶

暂无面经 1 份题集

3686

大模型常见解码策略有哪些，贪心、Beam Search 与采样如何选择？

模型基础与推理推理与解码

比较选型

进阶

暂无面经 2 份题集

3700

Decoder-only 模型在训练和推理阶段的输入形式有什么不同？

模型基础与推理推理与解码

原理机制

进阶

暂无面经 1 份题集

3711

大模型推理解码中的 Prefill 和 Decode 阶段分别做什么？

模型基础与推理推理与解码

原理机制

进阶

暂无面经 1 份题集

3712

大模型推理为什么需要 Prefill 阶段？

模型基础与推理推理与解码

原理机制

基础

暂无面经 1 份题集