字节跳动已是全球最大的信息产生与分发平台之一。为将信息准确地传递到相应的受众上，机器学习技术发挥了至关关键的作用。因此，机器学习模型的迭代速度也直接影响了公司业务的发展速度。在大模型、大数据的今天，大规模的分布式训练成为加速模型训练的必需条件。然而，模型参数量大、分布式计算的节点间通信带宽受限等诸多因素，使得提升大规模训练的效率成为挑战。本次分享将以 CV/NLP/推荐/广告等不同场景为例，介绍字节跳动在大规模训练方向的技术实践和经验总结。具体技术方面将涉及到训练通信架构、RDMA 传输优化、大模型的切分策略等，最终目标都是加速端到端的训练速度。这些实践使我们能够更好地支撑公司业务的发展。