推理优化与模型压缩

8 个专题 · 179 道题

3534

SGLang 与 vLLM 的机制有何不同，如何比较推理延迟？

模型基础与推理推理优化与模型压缩

比较选型

进阶

暂无面经 1 份题集

3649

如何降低多头注意力的计算开销？

模型基础与推理推理优化与模型压缩

方案设计

进阶

暂无面经 1 份题集

3713

KV Cache 为什么容易造成显存利用率低？

模型基础与推理推理优化与模型压缩

故障排查

进阶

暂无面经 1 份题集