美团点评常态、异地、多机房、单集群 Hadoop 架构实践

所属专题:大数据平台架构

所属领域: 架构

嘉宾 : 刘俊宏 | 美团点评大数据技术专家

会议室 : 203

讲师介绍

专题演讲嘉宾:刘俊宏

美团点评 大数据技术专家

美团点评离线存储团队技术专家,2013 年毕业于哈尔滨工程大学,2015 年加入美团,负责美团点评 HDFS、HBase 服务,先后深度参与了 HDFS Federation 兼容性改造和落地,美团点评数据平台融合,常态、异地、单集群、多机房 Hadoop 架构改造,HDFS NameNode 锁粒度拆分,增量数据生产架构演进等重点项目。在 HDFS、HBase 方面有大量的源码和架构实践经验,致力于为美团点评提供稳定、高效、易用的大数据存储服务。

议题介绍

地点:203
所属专题:大数据平台架构
所属领域:
架构

演讲:美团点评常态、异地、多机房、单集群 Hadoop 架构实践

随着美团点评以吃为核心的多场景业务的飞速发展, 美团点评的 Hadoop 集群规模持续每年翻番, 2017 年 Hadoop 集群规模突破万台,超出单机房容量上限, 势必要提供多机房的 Hadoop 服务。

现有 Hadoop 架构没有机房概念,在多机房部署 Hadoop 服务时,会导致大量的跨机房流量和请求严重降低集群吞吐。业内在解决 Hadoop 多机房部署问题时,往往采用一个机房一套集群的运维方式,但这会使机房概念更大程度的暴露到数据生产层面,提高了数据开发成本。

在此背景下, 美团点评离线团队秉持以业务为中心的价值导向, 通过技术换运营,自主研发了对业务提供透明的、数据强一致性保障的、常态、异地域、多机房、单集群 Hadoop 服务。

目前, 美团点评 Hadoop 集群规模数万台,是业界唯一一家提供常态、异地域、多机房、单集群 Hadoop 服务的科技企业。此次分享整个方案设计和落地,给业界同行在面临同样场景时以参考。

听众受益

  • 直面开源 Hadoop 在多机房部署场景下的架构困境;
  • 了解美团点评的大数据业务数据访问模式;
  • 分享美团点评对业务透明的, 数据强一致性保障的, 常态、异地域、多机房、单集群 Hadoop 架构, 及异地5机房提供Hadoop服务的实践经验;
  • 收获在面临同样场景时的业界优秀实践。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+8613269076283