罗齐,现任字节跳动大数据平台高级工程师,数据平台全域数据集成服务负责人,支撑公司各业务线的数据集成业务。曾任职于亚马逊全球供应链部门负责数据平台开发。在大规模数据分布式计算以及数据集成领域有较为丰富的经验,致力于打造可靠易用的数据集成服务。
罗齐,现任字节跳动大数据平台高级工程师,数据平台全域数据集成服务负责人,支撑公司各业务线的数据集成业务。曾任职于亚马逊全球供应链部门负责数据平台开发。在大规模数据分布式计算以及数据集成领域有较为丰富的经验,致力于打造可靠易用的数据集成服务。
全域数据集成是数据中台建设的基石,在数据源种类繁多、数据量庞大、实时性和稳定性要求高的场景下会带来很大挑战。本次演讲主要分享字节跳动全域数据集成服务在每日数万个任务和数十万亿级别数据量的场景下,如何基于统一的技术栈来解决这些问题。内容包括基于 Flink 批流一体的数据集成架构,离线/实时/增量各类数据传输场景下的混合技术模型,高性能和高可用要求带来的问题和解决方案等。
最好对大数据生态,数仓体系或数据中台有基本概念。