腾讯自研业务大规模云原生实践

厂商赞助 会议室:万富厅
出品人:邹辉

历经三年,包括 QQ、微信、王者荣耀、腾讯会议等亿级用户规模的腾讯自研业务已全面... 展开 >

专题出品人:邹辉

腾讯云 腾讯云原生产品中心总经理

现任腾讯云原生产品中心总经理,全面负责腾讯云容器、Service Mesh、函数计算等产品相关业务和团队管理工作。 自 2010 年加入腾讯以来,先后带领技术团队负责腾讯内部多个高性能通信框架及缓存系统,服务于腾讯内部多个海量业务;2017 年开始从无到有搭建腾讯云容器产品,推动容器产品规模连续多年保持三位数以上速度增长,并取得行业领先地位。

地点:万富厅

专题:腾讯自研业务大规模云原生实践

厂商赞助

历经三年,包括 QQ、微信、王者荣耀、腾讯会议等亿级用户规模的腾讯自研业务已全面上云,集群规模突破 5000 万核,累计节省成本超 30 亿,这使得腾讯打造出国内最大规模的云原生实践。当前腾讯自研业务和腾讯云百万级的外部客户,全部基于公有云模式开发运营。

如何把这些亿级业务全部搬到云上并实现云原生改造,我们做了大量的技术优化和革新:比如在容器调度领域 ,我们通过混部技术将资源利用率提升到 65%;在数据库领域,我们通过存算分离技术,打造了国内第一款云原生 Serverless 数据库;在安全领域,我们借助云原生技术本身的可观测性手段,创新地与安全结合,打造了更贴合云原生技术的专业安全防护能力……这些技术优化的实现思路,我们将在此专场一一给大家展示,期望能够给到大家参考。

by 李涛

腾讯云
弹性算力平台负责人

在腾讯公司内部,有着庞大的离线业务场景和需求,如图片转码、视频转码、王者游戏 AI、大数据等;同时,公司在线业务的整体资源利用率较低,导致大量资源闲置。急需为这部分庞大的离线业务提供稳定优质的算力资源,同时提升在线资源的利用效率。

在这一背景下,团队建立了公司统一的离线资源弹性算力平台,基于 TKE 底座,经过几年建设,管理运营了千万核离线 CPU 资源和几万 GPU 资源。

本次分享将为大家揭晓平台如何让业务快捷使用离线算力、高效挖掘管理离线资源和提供稳定算力,破解离线业务使用海量算力难题。

演讲提纲:
1. 腾讯弹性算力平台发展历程
2. 如何实现“超大算力资源集群”:基于多集群的业务接入
3. 构建海量算力资源池:从挖掘到管理
4. 算力稳定之道:从供应资源到供应算力

你将获得:

  • 了解 Kubernetes 多集群资源管理和业务接入方案
  • 了解基于业务和资源画像的多集群资源业务调度方案
  • 了解如何通过在离线混部提升资源利用效率

by 胡锦前

腾讯云
数据库资深架构师

2016 年微信支付日交易规模超过 10 亿,数据量爆发式增长的同时,微信支付商户服务、报表 BI、仓库维表系统却受制于存储和性能无法扩展、业务拆分难度大等问题。在这一背景下,TDSQL-PG 开始了在微信支付业务场景的应用落地探索。

为了解决微信支付业务场景的痛点问题,TDSQL-PG 在实践过程中也沉淀了一些技术创新方案,比如自动化 sharding 降低分库分表带来的业务开发复杂度、双 key 设计消除大小商户严重的数据倾斜、独创性的冷热分区方案降低业务使用成本、算子下推充分利用 MPP 优势提升查询扩展性能等。

本次分享将详细讲解 TDSQL-PG 在微信支付的应用实践历程,以及针对微信支付业务不同的痛点,TDSQL-PG 的解决思路与经验总结。

演讲提纲:
1. TDSQL-PG 在微信支付应用的三个阶段
2. 解 MySQL 之不能解:海量数据场景下存储和查询性能问题的技术解法
3. 基于 TDSQL-PG 的微信支付数据仓库维表系统实践
4. 总结与新版本特性

你将获得:

  • 了解 TDSQL-PG 在微信支付相关场景中的典型应用实践
  • 了解 MySQL 在海量数据场景存在的瓶颈问题,以及可能的解决思路
  • 了解云原生数据库前沿趋势以及 TDSQL-PG 新版本功能规划

by 王福维

腾讯云
腾讯安全云鼎实验室 高级研究员

云原生之所以能提升开发效能,“代码复用”功不可没;独立分析机构的调查报告指出,来自开源软件供应链的代码在线上应用中占比 85%+,这造成了代码缺陷的广泛传播。据 Google Project Zero 团队研究,今年在野利用的 0day 漏洞中有一半是历史漏洞的变种;而开发者也总是在写前人犯过错误的相似代码。

为了解决现有安全技术面对历史漏洞传播无能为力的问题,本次分享将从一些典型案例切入,逐一进行问题分析,并首次揭秘腾讯安全当前正在发力研究的一项有别于 SAST、SCA 等的创造性技术(充分借助历史漏洞的经验,消减代码复用的威胁),以及如何在 DevSecOps 实践中使用该方案。

演讲提纲:
1. 代码复用所引入的软件供应链安全威胁形式
2. 现有分析技术对规模化解决相关问题的盲区
3. 一种面向代码复用问题挖掘的技术讲解
4. 该技术方案与 DevSecOps 集成实践前瞻

你将获得:

  • 了解开发实践中各种不可控代码引入构成的安全风险
  • 了解腾讯安全的技术内核和预期的能力获取方式

by 邹弘宇

腾讯云
异构计算 & THPC 高级产品经理

在科技和产业进入人工智能和全真互联时代的大背景下,异构计算已成为业界公认超越摩尔定律的计算加速方法。如何充分利用异构加速单元的算力资源,成为业界共同探索和努力的方向。

在腾讯自研业务全面上云和云原生实践的过程中,面对算力挑战,我们在软硬件整体系统提供了完整解决方案,从而实现在千万级并发下对业务进行加速,帮助自研业务实现降本增效。本次分享将为大家解密,腾讯自研业务上云和云原生实践背后,异构计算软硬件一体化加速方案的技术实践与思考。

演讲提纲:
1. 自研 GPU 业务“云原生”历程
2. qGPU 共享技术解读:如何实现容器级细粒度算力切分
3. GPU 之外,如何基于自研 NPU 加速业务实践
4. 腾讯云大规模弹性 RDMA 集群的技术选型原则与展望

你将获得:

  • 了解 GPU 容器算力切分与共享技术
  • 了解腾讯如何用好和选择好 NPU
  • 了解腾讯大规模应用 RDMA  网络的技术思考

by 于华丽

腾讯云
大数据专家工程师

过去几年,数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地,数据规模达到 PB 至 EB 级别。在此基础上,腾讯自研业务也启动了云原生湖仓能力建设,过程中我们发现,湖仓架构面临最大的挑战是性能问题:

  • 湖存储直接用于数仓建模分析,存算分离损失了数仓 locality;
  • 海量湖仓明细的直接分析也需要较高的性能,才能完成海量湖仓数据的价值挖掘,否则还是只能等漫长的数仓建模、历史数据回溯;
  • 弹性计算与分析性能是一对矛盾的变量,如何在降低成本、不维持大量独占计算资源的同时满足高性能也充满了挑战。

本场分享将整体介绍腾讯云原生湖仓 DLC 针对上述问题的解决之道和技术架构设计。

演讲提纲:
1. 云原生湖仓建设背景和面临的挑战

  • 数据湖、数仓、湖仓诞生背景
  • 数据湖/湖仓架构在腾讯自研业务的落地情况
  • 湖仓架构面临的性能挑战

2. 腾讯云原生湖仓 DLC 架构揭秘:如何实现 PB 级数据秒级分析

  • DLC 产品定位和数据湖解决方案介绍
  • 性能问题的破解之道:多维 Cache、多模索引、虚拟集群弹性模型等

3. 新一代湖仓架构思路:扁平湖仓架构,明细层直接高性能分析

你将获得:

  • 了解如何玩转云上大数据,构建低成本、高性能、稳定的数据业务平台
  • 掌握数据平台优化思路
  • 了解大数据计算引擎的最新动态

交通指南

广州万富希尔顿酒店

Hilton Guangzhou Baiyun
地址:广州市白云区云城东路515-517号
  • 微信咨询

  • 电话咨询

    联系电话:+86 15600537884

微信联系我们

票务经理