2020 年初，随着网易互娱的海外的业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。为了业务能快速迁移海外，兼容历史的作业代码逻辑，满足业务的性能要求，我们前期采取了云主机裸机加上高性能 EBS 块存储的方案。但是云主机 + EBS 的方案有严重的问题，那就是昂贵的云主机裸机（m5.metal）的费用与高性能 EBS 的存储费用。即使我们使用的 EBS 已经从 gp2 切换到最便宜的标准性能 gp3 模式，存储成本也还是国内自建机房的数十倍。

根据我们对兼容性、性能、成本和安全性的要求，基于公有云构建一个比直接使用公有云的 EMR 托管更接近当前业务场景的更兼容历史业务的平台，并且成本更优的方案。主要通过包括了存储层，计算层，以及数据分层生命周期管理三个方面去实现了成本优化。存储层利用 JuiceFS 与 Hadoop 的整合，实现 S3 和 EBS 实现的混合类型存储，完成了大数据平台存算分离的低成本的存储方案；计算层使用 Spot 节点结合 YARN 的智能动态伸缩方案，实现算力弹性伸缩以及成本优化。基于自研的生命周期管理工具 BTS，基于 S3 低成本的实现存储数据自动数据分析与移动的冷数据存储层。

本项目给下游数据业务和分析部门提供了提供完整 Hadoop 的兼容性，避免了所有业务逻辑推倒重来。通过对存储、算力、数据分层等优化后的云上大数据平台，给游戏数据业务出海节省了大量成本，存储成本为优化前的 50%，算力总成本为优化前的 40%，冷数据成本为优化后线上存储成本 33%。未来随着业务量的增加，成本节约按 10 倍比例节约相应的费用，为出海后的数据化运营等提供有力支持。

演讲提纲：

1. 海外⼤数据平台的需求现状与问题

海外业务增⻓对集群性能的要求
存量业务迁移海外对兼容性的要求
业务成本优化的需求

2. ⼤数据平台存储⽅案选型

3. 互娱 Hadoop 海外多云迁移⽅案

基于 Hadoop+JuiceFS on S3 设计的存算分离⽅案：
- 引⼊ JuiceFS ，对业务屏蔽S3和运营商的差异，并且通过缓存提升使⽤ S3 作为底层存储的性能。
- JuiceFS 与 Hadoop 的整合，整合 Hadoop 可以降低业务的兼容性的成本。
- 利⽤ HDFS 的分布式，⾼可⽤的特性，弥补 JuiceFS on S3 的性能与稳定性不⾜。
- 基于 HDFS 多副本的存储策略，实现 JuiceFS 的分布式部署，提升 JuiceFS 的性能与可⽤性。
- 利⽤ HDFS 异构存储⽅案，实现存储数据分层
基于 YARN 的智能动态伸缩⽅案与标签调度结合 Spot 节点与按需节点混合部署⽅案：
- 介绍 Hadoop ⽣态系统中使⽤ YARN 管理/调度计算资源的问题
- YARN 标签调度与 Spot 节点结合按需固定节点混合调度算⼒成本优化⽅案
- 基于 AIOps ⼯具实现的智能伸缩以及按使⽤率和⾃定时间的动态伸缩⽅案
BTS 数据⽣命周期管理⼯具与数据分层实现存储成本优化
- 数据⽣命周期管理⼯具 BTS
- 存储分层架构设计
- 数据⽣命周期治理

4. 出海新架构的上线效果

性能效果总结
成本优化总结

5. 总结

⽬前存在的⼀些问题
对于未来⼤数据云原⽣场景的展望

你将获得：

了解网易基于公有云构建 Hadoop 高性能存储层、计算层、数据分层方案设计
了解整个方案的落地中的难点所在、实施效果和成本优化情况

专题演讲嘉宾：马铁军

虎牙业务运维负责人

by 马铁军

虎牙

关注主办方（InfoQ）

联系我们

交通指南

广州·粤海喜来登酒店