随着大数据技术的快速发展,“大规模”已经在应用中逐渐落地,“实时流”正在成为应用新的诉求,本课程上半场将首先分析目前开源大数据生态中常用的几种流计算技术;然后重点介绍Apache Flink核心技术,以及阿里巴巴为何选择了Apache Flink;最后介绍阿里巴巴在其自身超大规模和复杂实时业务场景下,对Apache Flink进行深度优化定制发布了Alibaba Blink,以及Blink对Flink的各种改进和社区回馈。
本课程下半场将介绍阿里巴巴基于Blink引擎打造出的流计算平台,并向用户展示在阿里巴巴内部如何利用Flink API快速开发出一套流计算应用,然后介绍如何通过丰富的实时监控指标和工具进行在线分析,以及行业应用经验总结。
上午
(讲师:王绍翾)
1. 开源大数据生态中的各种流计算技术分析
介绍目前开源大数据业界中常用的各种主流流计算技术,例如:Storm,Heron,Sparking Streaming,Flink等,并对比各种流计算技术的优缺点和适用场景,并给出未来流计算技术的发展趋势判断,有助于用户根据自己的场景进行技术选型
2. Apache Flink核心技术讲解
介绍Apache Flink流计算技术的核心概念,系统架构,编程API和生态体系,重点介绍Apache Flink中的几个关键技术点,例如:Checkpoint/State,Window/Watermark和Table API/SQL等,让用户可以快速学习到Flink的核心技术
3. Alibaba Blink技术介绍以及在阿里的应用
介绍Alibaba Bink相对Apache Flink在多项核心架构上进行了优化和扩展,例如:分布式部署架构、调度和容灾能力、Checkpoint/State性能,异步I/O等,以及大幅完善了Table API和SQL。此外,Blink已经将很多改进都贡献回了社区,并产生多名Committer,在社区产生了重要的影响力。
下午
(讲师:邓小勇)
1. 实时流计算应用搭建从入门到精通
首先介绍阿里巴巴基于Blink引擎打造出的流计算平台,并向用户展示在阿里巴巴内部如何利用Flink API快速开发出一套流计算应用,然后介绍如何通过丰富的实时监控指标和工具进行在线分析,例如:任务的延迟、吞吐和反压等信息,让用户快速学习到如何对自己的流计算任务进行分析和调优,开发出高质量的流计算应用。
2. 阿里巴巴流计算经典案例分享和总结
阿里巴巴集团庞大的电商场景以及阿里云平台上都有着丰富的实时业务场景,例如:双11媒体大屏,搜索/推荐/广告,风控预警,IoT和城市大脑等,我们将从这些经典场景中抽取出各种典型案例,以及在这些场景中遇到的问题和深度的思考,向听众分享经验并产生启发。