万亿级大数据平台的架构设计与演进实践

所属专题:云与大数据平台架构

嘉宾 : 陈超 | 七牛云技术总监,EGO 会员

会议室 : 百宴厅3

讲师介绍

专题演讲嘉宾:陈超

七牛云 技术总监,EGO 会员

陈超,七牛云技术总监,国内 Spark 领域首席布道专家,Spark Summit China 终身主席,专注于大规模分布式计算与机器学习领域。全面负责七牛大数据产品的设计与研发,近年来一直专注于分布式计算与机器学习等领域,参与了多个知名开源项目,并且有非常丰富的分布式系统设计与实现经验,在分布式数据库方面也有深入研究。

议题介绍

演讲:万亿级大数据平台的架构设计与演进实践

Pandora 是七牛自研的一套大数据平台, 目前每天有超过 200T 的增量数据进入 Pandora,每天参与计算的数据量超过 2P。 全平台基于 Go + Scala 语言编写,定制了多个开源项目,基于 Kafka 自研了数据流入、导出以及多集群处理等多个关键组件。本次分享将深度揭秘七牛大数据平台的技术选型,组件设计、系统调优及架构演进。此外在演进过程中我们也遇到了不少的“坑”,分享中会给出对应的解决方案,作为本次分享的亮点。

听众受益

  1. 掌握建立大数据平台时的技术选型思路和关键点;
  2. 了解数据量达到万亿级的大数据平台在运行中的注意点和“坑”,在项目前期如何避免;
  3. 探讨不同编程语言在大数据平台中的作用;
  4. 领会如何用围绕实际业务体系来进行平台设计。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方