专题演讲嘉宾：刘建刚

腾讯实时计算 Flink 涵盖了视频号、广告、金融等各大业务，CPU 核数更是高达百万级别。一方面大量作业存在资源浪费，另一方面核心链路因为资源不足严重影响 SLA。

本次演讲我将从业务的实际场景（实时报表、实时活动、视频直播等）出发，探索出一套垂直伸缩与水平伸缩相融合的云上资源管理方案。其中，垂直伸缩可以原地变更 CPU 和内存，做到业内首家实时计算零断流；水平伸缩可以做到秒级扩缩容，配合垂直伸缩实现统一的弹性伸缩服务。为了达到高精准的预测效果，弹性伸缩还融合了 AI 模型算法，做到了智能化的自动调整。

演讲提纲

1. 背景

• 介绍业务核心高 SLA 要求、资源管理困难的两大痛点，业内通用的作业全局重启方式无法满足用户的需求

2. 实时计算弹性伸缩的实现

• 垂直伸缩，联动 Flink 内核、K8s 和 JDK，实现资源的原地变更，做到业内首家实时计算零断流，更能实现 Pod 资源的个性化配置、做到千 Pod 千面
• 水平伸缩，通过热更新和资源预申请实现秒级扩缩容，同时引入快照机制保障数据的 exactly-once
• 资源全托管，融合垂直&水平伸缩，实现用户作业全生命周期的资源托管，包括提交、运行、升级、故障等场景，做到作业资源利用率超过 90% 的同时也保障秒级延迟

3. 模型算法的高精准预测 

• 相比业内普遍的 Reactive 模式，通过对未来的精准预测来实现 Proactive 模式
• 预测算法创新性地引入模型训练，通过时间序列和特征工程的优化，将线上预测误差降到 10% 以内
• 异常情况下，通过健康检测、实时调控、资源抢占等方式快速恢复作业

4. 业务应用和具体收益

• 针对数据同步、实时报表等 long-running 作业，智能化调整节约资源超过 50%
• 针对广告模型等对断流极其敏感的业务，解决了资源变更带来的断流问题，SLA 做到 99.99%
• 全自动化的资源调整，节约人力成本 30+%

5. 经验总结和未来展望

• 经验：垂直伸缩的零断流有一定局限性，需要配合水平伸缩的高扩展性，才能最大程度保障用户的 SLA
• 展望：在准确性、实时性、鲁棒性等方面继续提升弹性伸缩的体验

您认为，这样的技术在实践过程中有哪些痛点？

垂直伸缩虽然能做到零断流，但是受限于单台机器的总资源，这时可以 Fall back 到水平伸缩（大量优化），这也是我们构建综合平台的能力之一

演讲亮点

• 业内首家实现实时计算零断流的垂直伸缩
• 业内首家利用 AI 模型预测的弹性平台

听众收益

• 了解腾讯实时计算的前沿技术
• 了解云上弹性伸缩的技术架构
• 为降本增效、智能运维提供解决方案