MoE 负载均衡损失与专家路由塌缩有什么关系,如何稳定路由?

暂无参考答案

未标记

本题目录

相关面经

1

百度

大模型算法工程师
一面
查看原面经 →
MoE 的负载均衡损失为什么可能导致专家路由塌缩?如何设计更稳定的路由机制?

相关题目

4