2017年是超大规模互联网数据中心的一个里程碑，随着互联网内容以及高新技术以前所未有的速度增长，越来越多的超大规模互联网数据中心拔地而起来满足企业和用户的需要。网络基础设施可以说是上层服务的基石，没有网络，点对点的交流便无从说起。它好比是一个城市的公路网，没有公路，货物便无法从A送到B。互联网数据中心网络的建设与运维往往被理解为独立于软件开发，而如今DevOps概念的引入改变了人们的想法，网络正朝着数字化的时代迈进。

本次演讲将围绕超大规模数据中心的监测、管理为中心，通过介绍数据中心网络的设计，部署，运维，监测，修复等自动化架构来展现Uber如何时结合DevOps理念来加速网络基础设施建设的自动化进程。

在大规模网络下，随着gRPC协议方式的采集的普及， 响应速度快，实时性高，采集数据更全面。如何将这些gRPC采集方式带来的众多优点不打折扣的提供给网络运维人员，给下一代的大数据实时监控系统带来了一定的挑战。

为此，我们引入了一套基于流式计算（Blink基于开源的Apache Flink）和内存数据存储（Apache Ignite）方式的实时告警系统。借助Kafka和HBase实现数据缓存，Blink进行流式计算，Ignite进行实时的业务告警。并Blink的SQL方式进行实时计算和规则生成，通过Ignite开放SQL开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。

超大规模在线分布式系统，每时每刻都响应着无数的用户真实请求，在服务大规模异常的时刻，尽可能的响应用户请求，而不是拒绝，尽可能快的自动化止损甚至自愈，尽可能准的根因定位甚至自动化智能化，这些都给我们的工作提出了越来越高的要求和挑战。

为此，我们在系统架构、流式数据处理、动态决策等多个层面进行了系统化的设计。借助这一套系统，我们实现了分钟级到十秒级最终到秒级的感知和决策止损系统，大幅度的的减少了故障时刻的损失量级和故障持续时间。本次分享，也主要集中在以上几个方面我们的一些实战经验。

结合在Palo Alto Networks Wildfire云服务系统开发和运维中的一些痛点，来讲述如何运用流技术来设计和打造一个实时跟踪和监控系统。如何进行技术选型，如何使用流技术（Kafka Streams）来计算和统计基于业务逻辑的系统运行状况，使用Elasticsearch来存储数据和查询历史数据，并通过定制化界面以及通用图形报表系统Grafana来展示实时统计数据和个体处理单元的跟踪结果。 讨论将来如何通过机器学习技术结合实时跟踪和监控系统来使整个运维系统智能化，减轻运维压力，快速定位和隔离故障节点，保证整体系统的高可用性。