eBay 云原生磁盘 IO 隔离技术实践

所属专题:云原生工程实践

嘉宾 : 沈涛 | eBay资深软件工程师

会议室 : 钻石厅D

讲师介绍

专题演讲嘉宾:沈涛

eBay资深软件工程师

沈涛,eBay 云计算基础架构部资深软件工程师,负责 eBay 全球的云计算基础设施建设和维护以及节点稳定性等工作,包括 K8s、 云存储、容器运行时、Linux Kernel 的开发与维护等。一直从事云原生方向开发和研究,特别是 storage-sig 维护和开发,参与过社区 Kubernetes/Runc/NPD 等项目。

议题介绍

演讲:eBay 云原生磁盘 IO 隔离技术实践

eBay 目前面临混布的降本需求以及公共节点的 noisy neighbor 问题,大量的容器 IO,Emptydir IO 以及 Local PVC IO,加上不同类型的磁盘布局和类型,构成了复杂的磁盘 IO 隔离难题。本演讲主要分享下列技术细节:

  • 容器,Emptydir 以及 Local PVC 的 IO 分别如何限制以及遇到的问题
  • 如何利用 Cgroup v2 特性做磁盘 IO QoS 以及遇到的坑
  • 如何建立磁盘 IO 调度模型并优化节点调度

演讲提纲

1. 背景与问题

  • 集群资源优化与混布
  • 细粒度 IO 资源分配

2. cgroup v2 IO 隔离技术探索

  • cgroup io controller 的技术探索
  • IO weight 与 IO cost 的技术探索
  • 云原生与 cgroup v2 的适配

3. 本地磁盘 IO 隔离设计

  • 容器、临时存储与持久化存储 IO 限制
  • 磁盘 IO QoS 设计
  • Kubernetes 磁盘 IO 调度模型设计

4. eBay磁盘 IO 隔离落地实践

  • 复杂的磁盘分配布局带来的计算问题
  • 安全地功能管理与发布
  • 为什么我们放弃使用 IO cost

实践痛点

最大的痛点来自于磁盘 IO 是一个非常不稳定的度量,受到内存,CPU,磁盘类型,Block 大小,磁盘调度算法等影响,而用户很多时候也并不清楚他们的 IO 属性,所以很难给出一个可靠的限制值。所以我们尽量让用户做更小的选择。

演讲亮点

  • 探索了 cgroup v2 前沿特性在云原生的应用和落地
  • 探索了存储资源在云原生的调度模型和调度策略

听众收益

  • 企业如何做本地磁盘的 IO 限制
  • cgroup v2 在限制 IO 过程中有哪些坑
  • 如何构建本地存储调度模型

交通指南

上海中谷小南国花园酒店

China Grain Hotel
地址:上海市杨浦区佳木斯路777号(近营口路口)
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手