分布式训练与计算硬件

9 个专题 · 270 道题

0030

DCU 与 GPU 有什么区别？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

0031

SIMT 有什么特点，遇到分支会发生什么？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

0032

GPU 的存储层次和计算单元如何组织？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

0033

DCU 如何把数据传入寄存器，并在芯片上共享？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

0034

大矩阵 GEMM 在 DCU 上如何切分与实现？

模型训练与对齐分布式训练与计算硬件

方案设计

深入

0035

大模型计算中的流水线并行和张量并行如何工作？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

0170

ZeRO-1、ZeRO-2 和 ZeRO-3 有何区别？

模型训练与对齐分布式训练与计算硬件

比较选型

进阶

0526

轨迹模型训练使用多少计算资源？

模型训练与对齐分布式训练与计算硬件

项目深挖

进阶

0629

模型训练的显存由哪些部分占用？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶

0904

是否做过分布式训练，常见的模型并行方式有哪些？

模型训练与对齐分布式训练与计算硬件

原理机制

进阶