模型基础与推理

8 个专题 · 179 道题

已筛选

179 道题

排序:

0982
因果模型中第 40 个 token 的 KV Cache 缺失或失效后,应从哪里重新计算?
模型基础与推理推理优化与模型压缩
原理机制
进阶
1165
大模型 API 有哪些关键参数,temperature、message list 等作用是什么?
模型基础与推理模型选型与能力边界
原理机制
基础
1267
是否亲自部署过大模型?
模型基础与推理模型选型与能力边界
经历介绍
1526
大模型底层实现原理是什么?
模型基础与推理模型架构与表示
概念解释
基础
2176
模型的 Prompt Cache 如何工作?
模型基础与推理推理优化与模型压缩
原理机制
进阶
0208
Chat Template、System Prompt 和训练形成的行为先验有什么关系?
模型基础与推理模型架构与表示
比较选型
进阶
0252
推荐系统冷启动有哪些处理思路?
模型基础与推理机器学习与推荐系统
方案设计
进阶
0268
Self-Attention 为何利于并行训练,与 RNN 相比有哪些局限?
模型基础与推理Transformer 与注意力
比较选型
进阶
0274
Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q?
模型基础与推理推理优化与模型压缩
原理机制
进阶
0279
MoE 负载均衡损失与专家路由塌缩有什么关系,如何稳定路由?
模型基础与推理模型架构与表示
故障排查
进阶