服务于大量用户的关键应用通常由大规模系统来支撑,其性能的优劣不仅影响到用户的体验... 展开 >
余志东,Intel大数据平台技术部资深研发经理,2003年加入Intel,多年来一直从事系统软件在Intel平台上的性能分析和优化工作,从数据库到Java中间件,从虚拟化到云计算。如今他和他领导的团队致力于优化大数据平台的性能、开发能有效利用新兴硬件的关键技术,以及帮助客户解决生产环境中的各种问题。
服务于大量用户的关键应用通常由大规模系统来支撑,其性能的优劣不仅影响到用户的体验和业务的扩展能力,还直接关系到企业在基础架构上所需要的投入成本。大规模系统的复杂性来可能自于硬件和软件的各个方面。针对大规模系统的性能优化涉及到设计,实现,运维等各个阶段;需要修复或改进的地方可能在系统层,中间件和应用层的每一个地方;另外更是需要用到众多开源或定制的性能分析工具和与之相应的大量的数据处理和分析。在本专题中,多位来自于拥有大规模基础架构的业界领先公司的技术专家将为大家分享他们的经验和技术。
互联网时代,数据量爆发式增长。基于高性能的分布式计算系统,海量数据得到充分、及时的分析,才能最大化其价值。在这次演讲中,将与大家分享分布式计算系统中,在表示层、运行时、存储格式、新硬件等多方面的优化实践。
容器化后已经成为云端平台的技术趋势,但其性能表现常常是人们却步或怀疑的。这个主题,我们将介绍京东如何透过Docker及Kubernetes为基底,打造完整且高性能高效率的大数据平台服务。我们将从多个不同的面向让听众深入了解大数据的应用在容器化后对性能和整体服务所带来的影响:从基础的硬件测试包括fio,iperf等等,到真实的应用场景测试如Spark Streaming or Machine Learning的工作,再到容器化后资源的利用率和效率所带来的影响。
精确、高效的互联网服务容量测量对于确保高性能的线上计算环境和数据中心的优化建设是至关重要的。我们将介绍LinkedIn是如何通过一套名为“Redliner”的系统来进行自动化的系统容量测量和性能瓶颈分析的。
这套系统直接应用线上环境中的实时流量,采用智能的流量重定向并实时监测系统性能指标,自动地调整测量的强度和时长,得出服务系统的容量极限并分析出系统潜在的性能漏洞,给出系统容量规划和性能优化的建议。这套系统被应用于数百个LinkedIn的服务。 通过每日的测量测试,我们及时发现微服务系统中的潜在性能瓶颈,从而快速优化微服务系统以提高吞吐量,找到系统资源配置的优化方案,提升数据中心的资源应用率等。
在这里,我们将详细剖析这套系统的设计理念和架构建设,分享系统性能优化和容量规划的实战案例。希望由此启发听众,利用已有的微服务架构建构类似的实时流量的压测系统,进行系统性能分析,实现数据中心的资源优化。
MaxCompute是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团99%的存储和95%的计算。
MaxCompute平台机器规模达到十万级,数据规模达到EB级,每天有超过300万个作业在MaxCompute平台上运行。因此对MaxCompute平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。
本次演讲将介绍MaxCompute如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍MaxCompute在性能优化方面的经验。