海量存储优化

会议室:百宴厅2
出品人:张雷

数据指数级增长,人们期望能有兼具性能、可靠、易于管理、低成本等特性的存储手段,但... 展开 >

专题出品人:张雷

字节跳动数据库/云存储技术负责人

10年+分布式存储与数据库研发经验。目前主要负责字节跳动 NewSQL 产品系列研发运营工作,兼容 MySQL/PostgreSQL/MongoDB 等多款开源产品,目前在字节大规模使用;也负责对象存储,大数据存储 HDFS 等超大规模系统研发运营,承担管理超过数十 EB 数据存储与治理工作。

地点:百宴厅2

专题:海量存储优化

数据指数级增长,人们期望能有兼具性能、可靠、易于管理、低成本等特性的存储手段,但鱼与熊掌不可兼得,这注定是一场质量、效率与成本的平衡之战。

by 罗庆超

阿里巴巴
资深技术专家

在云体系下,数据存储服务会结合地域(Region)、区域(Zone)、数据中心、机柜、服务器等物理实体设计部署架构,同时根据 CPU、内存、网卡、硬盘等组件能力构建整机硬件能力,然后结合分布式系统原理来快速搭建软件架构,最后通过云的 DevOps 开发运维流程通过 API 形式交付给客户。云上数据存储服务,作为供应商,需要长期管理海量的数据,面临诸多的可靠性和可用性难题,阿里云存储团队结合多年的数据存储服务经验分享相关挑战和思考。

演讲提纲:

1. 海量对象存储稳定性的多维度衡量
2. 可靠性定义
3. 应对硬件失效和位翻转
4. 应对软件 Bug
5. 应对运维误操作
6. CPU 静默数据错误业界挑战和可靠性防护体系
7. 可用性定义
8. 请求成功率的网络挑战
9. 请求成功率的多租户挑战
10. 请求成功率的分布式容错挑战
11. 可用性分层容错机制
12. 对象存储云服务的可度量 ACID

你将获得:

  • 掌握从那些维度来度量对象存储稳定性
  • 了解典型的可靠性防护体系
  • 了解典型的可用性容错机制
     

by 伍华涛

华为
云存储首席架构师

公有云以对象存储为核心的数据湖已经成为事实的标准,其带来性能、扩展性、可靠性的同时,也面临诸多挑战,如元数据操作性能、统一 catalog、Locality 等,本 Topic 将介绍华为云对象存储在数据湖领域构建竞争力的实践经验

演讲提纲:

1.云原生数据湖的特征与挑战

  • 云原生数据湖的特征与优势
  • 云原生数据湖的挑战

2.华为云数据湖应对之道

  • 原生数据湖协议
  • 近数据计算
  • 近计算缓存
  • 统一元数据治理

3.展望未来

  • 数据驱动网络
  • 湖仓一体的 Native 支持

你将获得:

  • 了解云原生数据湖的优秀实践
  • 了解当前数据湖带来的挑战与应对之道
     

by 冯玮

字节跳动
大数据存储负责人

演讲提纲:

1. 架构与挑战

  • 业务挑战:存量大、增量快、业务多样性、基础设施复杂
  • 架构介绍:云存储整体架构简介

2. 最佳实践

  • 服务治理
    • 离线大数据业务存储系统治理 
  • 在线高可用性业务存储系统治理
    • 如何构建短视频 / 直播 / 即时通信 / 电商等高可用架构
    • 如何基于用户和服务画像提供最佳运营运维建议
    • 如何快速发现服务故障并快速应急
  • 成本治理
    • 离线 ResLake 数据调度体系实现存算统一调度下的数据智能管理(跨地域多副本/多介质的流转和沉降)
    • 在线智能空间治理(ByteBrain + GC/Rebalance)完成高效实现空间轮转缓解资源失衡
    • 在离线分级存储 Tiering 应对数据访问行为变化实现数据智能 Tiering 应对成本和容量管理挑战

3. 总结与展望

你将获得:

  • 如何构建高性价比的云存储系统架构与实践
  • 如何构建特定场景/业务的高可用灾备架构

交通指南

上海宝华万豪酒店

Shanghai Marriott Hotel Parkview
地址:上海市静安区广中西路 333 号
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

小姐姐 小倩