杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的Committer,同时也是 Apache Druid (incubating)的 Committer。
杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的Committer,同时也是 Apache Druid (incubating)的 Committer。
Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标,包括流计算,批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中,我们使用了 SQL 作为流批一体的统一入口,并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值,在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化,在支持实际业务上碰到了哪些问题,我们又是怎么解决的。
1. 了解 Flink SQL 的技术栈和未来的方向;
2. 流批一体化如何在业务中产生实际价值;
3. 流批一体化面临的业务挑战和我们是如何解决的。