近年来降本增效成为许多公司技术团队的重要工作方向，特别是上云后，云的便利性同时带来云开支的不可控，如何有效控制云开支成为上云后大家需要面临的问题。而在 IT 成本组成上，大数据相关基础设施的成本占不小比例，不少公司甚至超过一半以上。本演讲将分享贝联珠贯在开源大数据平台成本优化方面的技术实践。通过大数据任务参数动态优化、自动引擎升级以及 SQL 优化等自动优化手段，对数十家客户超过百万的大数据任务进行优化，节省了超过 500TB 内存和 15 万 CPU 核的计算资源。

演讲提纲

1. 问题与背景

2. 云上大数据平台成本优化的技术挑战

3. 优化方案：大数据任务参数动态优化

4. 优化方案：自动引擎升级

5. 优化方案：自动SQL优化

6. 实践案例分享

7. 总结与展望

您认为，这样的技术在实践过程中有哪些痛点？

• 任务动态参数优化是一种基于历史数据的优化技术，适用于具有周期性的大数据任务（如天级/小时级任务），随机的 Adhoc 查询缺乏历史实例，则无法适用此项优化技术
• 客户对生产稳定性极为看重，优化实施过程中需要有一套稳定性保障机制，确保不因为优化实施导致任务异常

演讲亮点

• 优化收益明显，大部分实施案例可节省资源 30% 以上
• 全自动任务优化，极小人力投入成本
• 实施成本低，任务参数动态优化和自动引擎升级，零业务代码变更

听众收益

• 可以帮助相关从业人员了解或学习大数据平台成本优化的主要技术方案，并在日常工作中进行运用