Apache Beam 架构原理及应用实践

所属专题:大数据处理技术

嘉宾 : 张海涛 | 海康威视金融事业部架构师,国际注册云安全系统认证专家

会议室 : 白云宴会厅3

讲师介绍

专题演讲嘉宾:张海涛

海康威视 金融事业部架构师,国际注册云安全系统认证专家

目前负责全国金融行业AI大数据的基础架构工作,主导建设过云基础平台的架构设计及核心开发,并自研大数据组件获得过国家发明专利。专注安防及 AloT 云计算大数据方向,是 Apache Beam 中文社区发起人之一及 ClickHouse 开源社区的核心开发人员。

议题介绍

地点:白云宴会厅3
所属专题:大数据处理技术

演讲:Apache Beam 架构原理及应用实践

近两年涌现的开源大潮,为大数据开发者提供了十分富余的工具。但这同时也增加了开发者选择合适工具的难度,尤其对于新入行的开发者来说。这很可能拖慢、甚至阻碍开源工具的发展:把各种开源框架、工具、库、平台人工整合到一起所需工作之复杂,是大数据开发者常有的抱怨之一,也是他们支持专有大数据平台的首要原因。

Apache Beam (原名 Google DataFlow )是 Google 在 2016 年 2 月份贡献给 Apache 基金会的 Apache 孵化项目,被认为是继 MapReduce、GFS 和 BigQuery 等之后,Google 在大数据处理领域对开源社区的又一个非常大的贡献。Apache Beam 的主要目标是统一批处理和流处理的编程范式,Apache Beam 通过先进的编程模型,为数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK 。因为对众多大数据处理引擎的支持,也使一套代码随处运行。 逐渐成为下一代的大数据处理标准。

听众受益:

  1. 了解 Apache Beam 及架构设计;
  2. 怎样玩转 Beam SDKs Pipeline Runners;
  3. 探讨 Apache Beam 在loT 场景下的架构设计及怎样构建自己的“AI微服务”。

 

 

 

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务小姐姐Joy
或致电:+86-13269078023