云原生发展走到了瓶颈期,下一站将走向何方?本专题希望能挖掘到一些有趣的实践案例,... 展开 >






现任字节跳动火山引擎云原生研发负责人,主要负责包括容器集群与运行时、服务观测与治理、持续交付、多云管理等领域的产品。毕业于美国卡耐基梅隆大学,曾为美国 Google 集群管理组核心成员,主要参与开发集群管控系统、自动化风险分析,系统容错与高可用架构设计等,并作为早期核心成员参与 Kubernetes 容器集群项目开源。2015 年回国创办才云科技,推动容器/云原生技术在国内的普及与落地,于 2020 年加入字节跳动。
云原生发展走到了瓶颈期,下一站将走向何方?本专题希望能挖掘到一些有趣的实践案例,为你带来一些新的视角。
搜推广很多业务属于数据密集型计算服务和系统,尤其对于平台型服务,检索数据量非常庞大,同时诸如商品召回为了准确性又不能水平拆分太多数据片等特性。致使业务面临实例资源规格大、加载大数据启停较慢,以及应用和数据更新耦合等迭代效率问题;然后资源调度面对大规格灵活性较低,不同模块及集群间的资源无法快速灵活的拓扑和调配,数据和应用的调度及编排存在较大挑战;再加上混合部署和多租户集群共享,很容易有资源碎片,存在一定程度资源浪费和资源利用不极致等问题。
为了满足日益增长的业务数据需求和快速迭代的技术要求,针对上述挑战和问题,需要有能够轻松构建大规模、高性能、数据密集型应用程序的新一代引擎平台。对于此,一方面需要打造云平台能力,能够轻松面对各种数据和应用的管理,满足业务系统的拓扑编排能力,屏蔽资源、可靠性、部署等细节,提高系统伸缩性、灵活性和弹性。另一方面需要打造贴合业务的适应于数据密集型的搜推广技术栈的引擎底座,来解耦数据和应用更新以及更好的沉淀和复用优秀的业务组件。而 BaaS+FaaS 的 Serverless 架构一定程度可以解决这些问题:一方面 BaaS 作为引擎底座,可以解决数据和应用耦合以及组件复用等问题;另一方面 FaaS 的轻量设计,在提高业务开发效率和扩展性的同时也可以更好的适配云平台的调度和编排能力。
显而易见,在混合部署以及多租户共享集群中支持贴合业务的自定义调度和编排本身就存在一些额外的困难和挑战;再加上在搜推广这种计算量大,数据密集,链路复杂,延时敏感的业务中应用 Serverless 架构就更不容易。本议题就是分享和探讨京东以搜索为先行载体,如何应对这些云原生之路的挑战及问题的探索和实践。
演讲提纲:
1. 云原生溯源&背景介绍
2. 技术挑战及应对策略
3. Serverless 设计和实践
4. 技术规划与未来展望
你将获得:
在当前经济形势下,各大公司都在努力降低成本并提高效率。但不少公司可能存在着线下集群利用率不高的问题,且在尝试进行多业务类型的混合部署后,还可能会遇到各种稳定性和业务质量方面的挑战。我们在大数据领域针对万台规模的集群展开了研究。
为了解决云原生业务的特点,我们提出了一种创新的方法,利用 Linux 内核提供的资源相关指标(如实时性、压力和边界),以业务理解的方式来指导资源的使用,包括编排、调度和驱逐等方面。我们还针对兜底问题提出了解决方案,以确保在大负载情况下机器的稳定性。比如:我们创新性地设计了内存健康度保障方案,有效解决了之前频繁发生的宕机和任务挂死的情况。该方案已经部署并运行了三个月,至今未发生类似问题,成功完成了预设出让机器核数的需求。
通过以上的优化措施,我们在大规模离线任务与机器学习混合部署中取得了显著的成果,不仅提高了集群的稳定性和业务质量,还实现了成本的节约。在本次演讲中,我们将分享我们的经验和解决方案,希望能为您的业务带来实际的价值和改进。
演讲提纲:
1. 业务背景与现状
2. 增强型 RunC 的解决方案
3. 最佳实践分享
4. 持续演进方向与展望
你将获得:
在一个规模较大的组织内部,可能存在不同的业务场景,对应的项目采用的框架不同,不同团队对云原生资源的管理规则存在差异,并且不同研发人员对云原生相关技能的掌握程度也不同本次分享结合字节跳动内部实践,展示了企业级应用交付服务如何通过不同的产品封装、灵活的环境配置,实现多种不同业务场景下,云原生应用的发布、运维方案;如何通过“环境泳道”解决一个应用多环境的管理、不同环境之间灰度流量的控制;以及应用在多云、多集群场景下,实现快速发布、运维的实践经验。
演讲提纲:
1. 介绍应用交付的业务背景,讲解如何解决不同云原生业务场景下,支持应用快速上云的方案
2. 介绍“环境泳道”的概念与原理,介绍“环境泳道”在字节内部的探索与实践
3. 介绍“多云管理平台”在解决应用多云场景下发布与运维的实践
4. 持续演进方向与展望
你将获得:
Service Mesh 中主流的流量劫持方案基于两种技术:iptables 或 eBPF 。然而,这两种解决方案总是存在一些性能问题,例如所有数据流量包在通过服务网格数据平面时都必须多次经过网络协议栈。如果使用其他轻量级 VM 容器(如 Kata Container),会经过更多的网络协议栈,这会造成一定的性能损失、系统资源消耗并增加服务延迟。因此,我们为 Istio Ambient Mesh 中的 Kata 容器运行时提出了一种新的流量劫持方案。 baisc 的思路是:通过 Kata Container 的改变以及 vhost-user 对 ztunnel 的支持,可以实现同一节点上的 ztunnel 和 app 容器之间直接进行数据交换,显着提高通信效率,降低服务延迟。



微信咨询

电话咨询
领取往期热门演讲视频

