近几年 Transformer 系列模型成为了自然语言处理、计算机视觉、语音识别等领域的主流模型，但其注意力的核心机制带来了庞大的计算量，导致模型训练时间长、推理部署延迟高，需要非常高昂的硬件和时间成本，这是很多科研和业界工作者无法接受的。针对这一痛点，LightSeq 结合了算子融合、混合精度训练优化、显存优化、层级式解码等技术，将 Transformer 系列模型的训练速度提高了 1.5-3 倍，推理速度提高了 4-10倍。LightSeq 支持多种主流深度学习框架和训练库，使用灵活便捷。目前 LightSeq 已经开源并获得了广泛关注，被应用到了字节跳动火山翻译、搜索、广告、推荐等众多业务上。