腾讯云大数据云原生与在离线混合部署实践

所属专题:云原生技术应用

嘉宾 : 颜卫 | 腾讯高级后台开发工程师

讲师介绍

专题演讲嘉宾:颜卫

腾讯高级后台开发工程师

颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。

议题介绍

演讲:腾讯云大数据云原生与在离线混合部署实践

随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器、不可变基础设施和声明式API等),使得企业在公有云、私有云和混合云等云环境构建和运行应用变得更加容易,更能充分利用云环境的优势,加速了企业应用迭代、降低资源成本、提高系统容错性和资源弹性。

基于Hadoop生态的传统大数据系统,同样面临着弹性能力不足、资源利用率低、管理困难等问题,云原生技术天然适合解决这些问题。然而,Hadoop生态的传统大数据系统改造成云原生架构,涉及到改造成本高、迁移风险大等诸多挑战。本次演进将分三部分。第一部分将介绍大数据云原生解决方案,如何利用容器化技术实现大数据计算框架类组件(SPARK、FLINK)以及存储类(HDFS、HBASE)组件的云原生化,使得大数据系统资源的使用更加弹性。第二部分将介绍大数据系统云原生渐进式演进方案,通过Yarn Opterator实现大数据架构逐步迁移到云原生架构,降低迁移的风险和跨团队沟通成本。第三部分将介绍在大数据系统做原生改造后,如何通过在线离线混合部署,使大数据系统能够利用在线系统中空闲的资源,提升整体资源的使用率。

演讲提纲

1、大数据系统遇到的问题与挑战

2、云原生技术如何应对这些挑战

3、大数据云原生解决方案介绍

4、已有大数据系统迁移到云原生架构步骤

5、如何通过渐进式迁移方案降低迁移的风险

6、在大数据云原生基础上,如何通过在离线混合部署提升资源使用效率

适合人群 

大数据运维开发(运维)/容器运维开发(运维),基础架构开发(运维),基础架构负责人,CTO

交通指南

中国石油科技交流中心

Beijing International Convention Center
地址:北京市昌平区沙河镇黄河北街一号院石油科技交流中心
  • 微信咨询

  • 电话咨询

    联系电话:+86 17310043226

微信联系我们

小姐姐 Ring