目前负责全国金融行业AI大数据的基础架构工作,主导建设过云基础平台的架构设计及核心开发,并自研大数据组件获得过国家发明专利。专注安防及 AloT 云计算大数据方向,是 Apache Beam 中文社区发起人之一及 ClickHouse 开源社区的核心开发人员。
目前负责全国金融行业AI大数据的基础架构工作,主导建设过云基础平台的架构设计及核心开发,并自研大数据组件获得过国家发明专利。专注安防及 AloT 云计算大数据方向,是 Apache Beam 中文社区发起人之一及 ClickHouse 开源社区的核心开发人员。
近两年涌现的开源大潮,为大数据开发者提供了十分富余的工具。但这同时也增加了开发者选择合适工具的难度,尤其对于新入行的开发者来说。这很可能拖慢、甚至阻碍开源工具的发展:把各种开源框架、工具、库、平台人工整合到一起所需工作之复杂,是大数据开发者常有的抱怨之一,也是他们支持专有大数据平台的首要原因。
Apache Beam (原名 Google DataFlow )是 Google 在 2016 年 2 月份贡献给 Apache 基金会的 Apache 孵化项目,被认为是继 MapReduce、GFS 和 BigQuery 等之后,Google 在大数据处理领域对开源社区的又一个非常大的贡献。Apache Beam 的主要目标是统一批处理和流处理的编程范式,Apache Beam 通过先进的编程模型,为数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK 。因为对众多大数据处理引擎的支持,也使一套代码随处运行。 逐渐成为下一代的大数据处理标准。
听众受益: