大规模预训练模型高效训练的构架实践

训练框架现状和挑战

当前使用最广的模型训练框架是Tensorflow和PyTorch。有不少基于Tensorflow和PyTorch开发 的分布式训练框架，如:Horovod、Mesh Tensorflow、DeepSpeed等；

还有很多其他训练框架如：MindSpore、OneFlow、 PaddlePaddle、MXNet等; • 这些框架支持各种并行策略，但仍有不少挑战。

… …