深度学习的模型规模越来越庞大，其训练数据量级也成倍增长，这对海量训练数据的存储方案提出了更高的要求：怎么样更高性能地读取训练样本、不让数据读取成为模型训练瓶颈，怎么样更高效的支持特征工程、能够更便捷地增删和回填特征。传统的数仓方案和直接使用 Hadoop 或对象存储来存放样本都不能很理想的满足以上业务需求。 本次演讲将介绍字节跳动如何通过 Iceberg 数据湖支持 EB 级机器学习样本存储，实现高性能特征读取和高效特征调研、特征工程加速模型迭代。 

演讲提纲：

1. 背景与趋势 

• 机器学习与训练样本 
• 传统数仓、Hadoop 或对象存储在机器学习样本存储场景上的不足 
• 数据湖 
  • 业界数据湖方案调研 
  • 优势、不足与挑战 

2. 字节跳动自研强化版 Iceberg 

• 设计目标和系统分层 

3. 机器学习样本存储实践 

• 极致高效的特征调研与特征工程 
• 高性能读时合并引擎 
• 更多 EB 级样本存储的最佳实践

4. 总结与展望

• 对 LLM 和特征工程的思考

你将获得：

• 了解字节跳动数据湖方向的前沿技术与成果
• 了解 EB 级机器学习样本存储的最佳实践 

2020 年初，随着网易互娱的海外的业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。为了业务能快速迁移海外，兼容历史的作业代码逻辑，满足业务的性能要求，我们前期采取了云主机裸机加上高性能 EBS 块存储的方案。但是云主机 + EBS 的方案有严重的问题，那就是昂贵的云主机裸机（m5.metal）的费用与高性能 EBS 的存储费用。即使我们使用的 EBS 已经从 gp2 切换到最便宜的标准性能 gp3 模式，存储成本也还是国内自建机房的数十倍。

根据我们对兼容性、性能、成本和安全性的要求，基于公有云构建一个比直接使用公有云的 EMR 托管更接近当前业务场景的更兼容历史业务的平台，并且成本更优的方案。主要通过包括了存储层，计算层，以及数据分层生命周期管理三个方面去实现了成本优化。存储层利用 JuiceFS 与 Hadoop 的整合，实现 S3 和 EBS 实现的混合类型存储，完成了大数据平台存算分离的低成本的存储方案；计算层使用 Spot 节点结合 YARN 的智能动态伸缩方案，实现算力弹性伸缩以及成本优化。基于自研的生命周期管理工具 BTS，基于 S3 低成本的实现存储数据自动数据分析与移动的冷数据存储层。

本项目给下游数据业务和分析部门提供了提供完整 Hadoop 的兼容性，避免了所有业务逻辑推倒重来。通过对存储、算力、数据分层等优化后的云上大数据平台，给游戏数据业务出海节省了大量成本，存储成本为优化前的 50%，算力总成本为优化前的 40%，冷数据成本为优化后线上存储成本 33%。未来随着业务量的增加，成本节约按 10 倍比例节约相应的费用，为出海后的数据化运营等提供有力支持。

演讲提纲：

1. 海外⼤数据平台的需求现状与问题

• 海外业务增⻓对集群性能的要求
• 存量业务迁移海外对兼容性的要求
• 业务成本优化的需求

2. ⼤数据平台存储⽅案选型

3. 互娱 Hadoop 海外多云迁移⽅案

• 基于 Hadoop+JuiceFS on S3 设计的存算分离⽅案：
  • 引⼊ JuiceFS ，对业务屏蔽S3和运营商的差异，并且通过缓存提升使⽤ S3 作为底层存储的性能。
  • JuiceFS 与 Hadoop 的整合，整合 Hadoop 可以降低业务的兼容性的成本。
  • 利⽤ HDFS 的分布式，⾼可⽤的特性，弥补 JuiceFS on S3 的性能与稳定性不⾜。
  • 基于 HDFS 多副本的存储策略，实现 JuiceFS 的分布式部署，提升 JuiceFS 的性能与可⽤性。
  • 利⽤ HDFS 异构存储⽅案，实现存储数据分层
• 基于 YARN 的智能动态伸缩⽅案与标签调度结合 Spot 节点与按需节点混合部署⽅案：
  • 介绍 Hadoop ⽣态系统中使⽤ YARN 管理/调度计算资源的问题
  • YARN 标签调度与 Spot 节点结合按需固定节点混合调度算⼒成本优化⽅案
  • 基于 AIOps ⼯具实现的智能伸缩以及按使⽤率和⾃定时间的动态伸缩⽅案
• BTS 数据⽣命周期管理⼯具与数据分层实现存储成本优化
  • 数据⽣命周期管理⼯具 BTS
  • 存储分层架构设计
  • 数据⽣命周期治理

4. 出海新架构的上线效果

• 性能效果总结
• 成本优化总结

5. 总结

• ⽬前存在的⼀些问题
• 对于未来⼤数据云原⽣场景的展望

你将获得：

• 了解网易基于公有云构建 Hadoop 高性能存储层、计算层、数据分层方案设计
• 了解整个方案的落地中的难点所在、实施效果和成本优化情况

本次我将分享阿里云数据湖 3.0 的发展历程以及核心技术架构：HDFS协议全兼容、元数据管理与优化、数据流动、服务加速等，还有在金融、互娱等行业的应用实践，未来的发展趋势。

演讲提纲：

1. 数据湖背景

• 大数据存储架构经过了几代演化，从早期的集中式共享存储演化到当前的分布式存算解耦架构
• 趋势背后的技术能力演进，从基础网络能力提升、云服务发展推动架构演进
• 采用数据湖架构的技术优势，从数据存储到计算资源调度角度展开
• 升级数据湖的改造成本分析

2. 阿里云数据湖发展

• 阿里云数据湖 1.0 到 3.0 的发展历程，详细介绍每一代阿里云数据湖的特点
• 数据湖 3.0 核心技术架构：
• HDFS协议全兼容
• 元数据管理与优化
• 数据流动
• 服务加速

3. 数据湖应用实践

• 场景 1：在线游戏：通过数据湖，完成全球化游戏的数据分析
• 场景 2：互联网金融：使用数据湖，更低成本支撑动态变化的业务
• 场景 3：互联网娱乐：通过数据湖多存储类型，优化长期冷数据存储成本
• 场景 4：自动驾驶：与高性能计算共同构建 AI/大数据融合架构

4. 行业趋势分析与展望

• 数据湖与数据仓库，湖与仓的特点、差异和结合
• Lakehouse 与数据湖，分析流行的 Delta Lake、Hudi 等方案特点
• 计算资源与 Serverless，基于数据湖的计算资源的演进趋势

你将获得：

• 了解行业最新的数据湖架构与技术
• 了解数据湖架构在AI、游戏等领域的实践应用