颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。

颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。
随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器、不可变基础设施和声明式API等),使得企业在公有云、私有云和混合云等云环境构建和运行应用变得更加容易,更能充分利用云环境的优势,加速了企业应用迭代、降低资源成本、提高系统容错性和资源弹性。
基于Hadoop生态的传统大数据系统,同样面临着弹性能力不足、资源利用率低、管理困难等问题,云原生技术天然适合解决这些问题。然而,Hadoop生态的传统大数据系统改造成云原生架构,涉及到改造成本高、迁移风险大等诸多挑战。本次演进将分三部分。第一部分将介绍大数据云原生解决方案,如何利用容器化技术实现大数据计算框架类组件(SPARK、FLINK)以及存储类(HDFS、HBASE)组件的云原生化,使得大数据系统资源的使用更加弹性。第二部分将介绍大数据系统云原生渐进式演进方案,通过Yarn Opterator实现大数据架构逐步迁移到云原生架构,降低迁移的风险和跨团队沟通成本。第三部分将介绍在大数据系统做原生改造后,如何通过在线离线混合部署,使大数据系统能够利用在线系统中空闲的资源,提升整体资源的使用率。
1、大数据系统遇到的问题与挑战
2、云原生技术如何应对这些挑战
3、大数据云原生解决方案介绍
4、已有大数据系统迁移到云原生架构步骤
5、如何通过渐进式迁移方案降低迁移的风险
6、在大数据云原生基础上,如何通过在离线混合部署提升资源使用效率
大数据运维开发(运维)/容器运维开发(运维),基础架构开发(运维),基础架构负责人,CTO



微信咨询

电话咨询
微信联系我们

