下一代大数据实时监控系统

所属专题:大规模基础设施DevOps探索

所属领域: 大数据、 DevOps

嘉宾 : 李双江 | 阿里巴巴Senior Engineer

会议室 : 百宴厅4

讲师介绍

专题演讲嘉宾:李双江

阿里巴巴 Senior Engineer

李双江,阿里巴巴技术专家,美国田纳西大学计算机工程博士,研究方向为机器学习优化算法,应用于图像、视频、计算机网络等领域。在Java语言,网络协议、网络安全、大数据处理和分布式系统领域有多年经验。现担任多个SCI期刊及IEEE/ACM会议的编辑、委员及技术委员会主席。

自2017年起加入阿里巴巴,目前负责开发阿里巴巴基础设施事业群(Alibaba Infrastructure Service)网络研发事业部下一代监控系统的研发,大规模数据挖掘、故障异常检测、网络运维可视化项目等。闲暇之余,爱好跑步,游泳和骑车。曾完成多次马拉松和铁人三项比赛。

议题介绍

地点:百宴厅4
所属专题:大规模基础设施DevOps探索
所属领域:
大数据、 DevOps

演讲:下一代大数据实时监控系统

在大规模网络下,随着gRPC协议方式的采集的普及, 响应速度快,实时性高,采集数据更全面。如何将这些gRPC采集方式带来的众多优点不打折扣的提供给网络运维人员,给下一代的大数据实时监控系统带来了一定的挑战。

为此,我们引入了一套基于流式计算(Blink基于开源的Apache Flink)和内存数据存储(Apache Ignite)方式的实时告警系统。借助Kafka和HBase实现数据缓存,Blink进行流式计算,Ignite进行实时的业务告警。并Blink的SQL方式进行实时计算和规则生成,通过Ignite开放SQL开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。

听众受益

  1. 了解如何设计一套更实时、满足多业务场景需求的大数据监控系统;
  2. 了解Blink和Ignite在大数据监控系统中的应用;
  3. 了解传统的SQL如何在整个系统中发挥作用,带来更大的灵活性和业务扩展性。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:17310043226