颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。

颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。
随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器、不可变基础设施和声明式 API 等),使得企业在公有云、私有云和混合云等云环境构建和运行应用变得更加容易,更能充分利用云环境的优势,加速了企业应用迭代、降低资源成本、提高系统容错性和资源弹性。
基于 Hadoop 生态的传统大数据系统,同样面临着弹性能力不足、资源利用率低、管理困难等问题,云原生技术天然适合解决这些问题。然而,Hadoop 生态的传统大数据系统改造成云原生架构,涉及到改造成本高、迁移风险大等诸多挑战。
本次演进将分为三部分。第一部分将介绍大数据云原生化的挑战与收益,从大数据系统现在的问题出发,分析云原生化对大数据系统的收益,以及这过程中的挑战。第二部分介绍腾讯内部基于流计算,数据湖计算大数据容器化的实践。并介绍如何基于Yarn Operator实现大数据系统的渐进式云原生化。第三部分介绍大数据容器化如何与在离线混部结合,使大数据系统能够利用在线系统中空闲的资源,提升整体资源的使用率。
演讲提纲:



微信咨询

电话咨询
微信联系我们

