是否做过分布式训练，常见的模型并行方式有哪些？

有没有做过分布式训练，常见模型并行方式有哪些，ZeRO-1/2/3 区别。