高可用架构(HA)不是一个新的话题,然而企业在践行网站高可用的过程中,却经常会面... 展开 >
吴其敏,平安银行零售网络金融事业部首席架构师,平台架构部负责人,致力于前后端框架、核心中间件和研发平台建设。前携程旅行网框架研发部高级总监和前大众点评网主架构师,专注于核心中间件打造;开源分布式实时监控系统CAT(http://github.com/dianping/cat)作者;曾在易趣网和eBay中国研发中心工作十多年,在核心架构团队任资深工程师、资深架构师、首席架构师等职,为eBay新一代系统平台提供核心组件。自1997年接触Java以来,一直致力于基于Java的应用架构设计和流程工具研发,对分布式系统架构有深入地了解。在高质量数据建模、高效代码生成、组件化系统设计与开发等方面有很多实践。
高可用架构(HA)不是一个新的话题,然而企业在践行网站高可用的过程中,却经常会面临方方面面的挑战:业务发展太快、基础设施不完善、技术债务很重、新技术层出不穷、人才结构不合理等等。在这方面国内外大型互联网公司多年来一直走在队伍的前列,踩过不少坑,积累了不少经验。
通过本专题从不同角度的分享,您将了解到:
随着微服务的流行,应用和机器数量急剧增长,程序配置也愈加繁杂:各种功能的开关、参数的配置、服务器的地址等等。
同时,我们对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境、分集群管理,完善的权限、审核机制等等。
在这样的大环境下,传统的通过配置文件、数据库等方式已经越来越无法满足我们对配置管理的需求。
配置中心,应运而生!
通过配置中心,我们可以方便地管理微服务在不同环境中的配置,从而可以在运行时动态调整服务行为,真正实现配置即『控制』的目标。
所以,在一定程度上,配置中心就成为了微服务的大脑,如何用好这个大脑,让微服务更『智能』,也就成为了一项比较重要的议题。
市面上已经有很多监控系统,它们解决了各式各样的监控问题。它们挺好用,收集了许多核心数据,有很多漂亮而实用的报表和查询,但,有些资深的工程师总喜欢敲一堆难记的命令,开启一个又一个本机工具集,企图找到一些不在监控系统中的蛛丝马迹。传统监控系统,大多都是宏观监控,基于采样,有庞大服务集群用来处理数据,但它们无法记录一切,所以,有时当我们想更深入的了解时,往往感觉力不从心。如果让应用自诞生时刻起就不是黑盒子,并让应用自带窗口帮助人们了解和控制它们,那么实时了解和问题诊断是否会更加高效呢? 来自eBay的理念,由互联网前辈Eric(叶亚明)和老吴(吴其敏)将它从eBay带到了携程,这就是VI(Validation Internals),让监控随应用而生,与应用同行。
当想了解应用健康状况;当想了解应用启动过程;当想了解使用组件的运行情况时;当需要定位问题时;当你需要暴露应用运行数据时;当想了解应用各类资源占用情况时;当想查找各类配置时;当你需要实时改变应用行为时;当需要给应用性能调优时……总之,你所关心应用运行的一切,都可以让VI这个应用随身小助手来帮助你。
同盾科技智能风控SaaS服务作为ToB的第三方风控系统,具有客户数量多,客户需求多样化,流量与客户流量同步上涨,虚假黑产流量占比高且流量变化大等业务特点。本次议题将讨论智能风控SaaS服务系统,在客户数不断增多,业务流量不断上涨的过程中,为了满足99.99%,200ms以内响应的目标,在架构调整,应用优化,在线计算能力提升,存储升级,多机房建设等方面所做的实践。
1. 一个智能风控SaaS服务在流量不断增长至日十亿级别的过程中,遇到的业务问题及特点;
2. 在可用性及性能方面,所遇到的挑战以及解决问题的架构演进过程。
随着近几年国际化市场逐渐打开,合资企业、国际化市场等业务快速拓展,大多通过建立海外合资企业的模式快速进行业务布局,将现有国内成功业务模式快速复制到海外,而不同企业不同国家都有各自强自主性诉求,在业务平台架构中需要考虑设计通用性的技术栈如何复用输出海外、如何建设可自主定制开发业务的能力、海外合资企业如何协同研发等等问题。
本次演讲将重点讲述如何将业务架构平台化,如何逐步打造出支持国际化能力的插件容器,在长期不断实践中沉淀一套可灵活支持国际化发展的综合性业务平台解决方案,未来可满足区域化市场快速搭建、多语种多国家精细化运营等诉求。
随着美团点评高速发展,业务与系统复杂度越来越高,监控的领域也从传统系统监控,应用监控,扩充到延伸到移动端、浏览端端监控等等。监控系统自身面临数据量的快速增长,系统本身的稳定性面临非常之多的挑战。此次分享主要讲述了美团点评监控性能领域一些实践进展,从产品以及技术层面介绍下从移动、浏览器、业务、应用、系统层面的实践,以及走过的一些弯路。
1.美团点评监控整体情况
2.移动端监控相关实践
3.浏览端监控相关实践
4.应用端监控相关实践
5.和监控相关的领域配合(比如说全链路压测等)
1.了解到监控分层领域的产品设计以及技术实现
2.开源实时监控CAT最新功能迭代
之前讲过的topic更多的是偏cat,这次重点会讲诉整个公司在监控整个建设中的一些实践进展,cat在整个里面只是一个环节(cat是应用端监控)。
在海量数据和高并发的即时通讯系统中,高效可靠的消息数据存取,是整个系统里难度非常大的挑战。目前融云每天要存储的消息量高达数十亿条,多年来融云一直致力于消息存储的优化,从原型阶段的MySQL到后来的Redis,LevelDB,我们不停的探索实践。随着业务的发展和数据的持续增长,我们需要一个既能满足业务需求,又能满足大业务量的消息数据存储,因此融云在2017年决定研发可以满足自身业务特点的高性能消息存储服务(内部代号RCTSDB),并使用全新设计的数据存储引擎。
快速、高效、高可用的PayPal在线风控平台支持着PayPal的在线交易,为业务的发展做出重要的支撑。而随着业务的快速发展,对PayPal在线风控平台也相应提出了更多的技术挑战。为了应对挑战,我们调整相关的策略,并进行了相应的优化实践。本演讲将介绍和分享我们的一些具体实践。
主要内容:
1、PayPal在线风控平台总体介绍。
2、在线风控平台所面临的主要挑战
3、针对各项挑战的技术应对思考和方案
4、技术优化方案的实施总结