伍翀,花名“云邪”,阿里巴巴计算平台事业部资深研发工程师,Apache Flink Committer。北京理工大学硕士毕业,2015 年加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。从 2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化。现在专注的方向主要是分布式处理和实时计算,闲暇时喜欢看动漫和读书。
随着近些年大数据技术的不断发展和成熟,无论是传统企业还是互联网公司都已经不再仅仅满足于批处理,对流处理的场景和需求也越来越强烈。于是业界也一直在探索统一流处理和批处理的引擎和 API,比如近几年火爆的 Spark,Beam,还有 Flink。阿里巴巴自 2015 年就开始改进 Flink,并创建了内部分支 Blink,目前服务了阿里集团内部搜索、推荐、广告和蚂蚁等大量核心实时业务。Blink SQL 和 Table API (java/scala 版的类 SQL API)是一套基于 Blink 引擎打造的可以同时支持流处理和批处理的统一的 API。在本次演讲中,我们会介绍当前 Blink SQL 丰富的功能,底层实现的原理,并且讲解流与表是如何相互转换的。另外我们一直在与 Flink 母公司 DataArtiscans 紧密合作,共同推进 Flink 社区的发展。我们已经将大部分 Blink 和 Blink SQL 的改进贡献回 Flink 社区。本次分享会主要介绍我们对 Flink SQL 的各项贡献和改进,并向大家分享 Blink SQL 在阿里内部的大规模应用场景。