随着业务规模和数据量越来越大,在数据库和存储方面我们也面临很多新的挑战:一方面,... 展开 >
臧秀涛,现就职于InfoQ,任QCon大会主编,负责QCon大会的策划和组织。2010年毕业于中国科学院计算技术研究所。曾先后在完美世界等公司从事软件开发工作。2014年加入InfoQ。业余喜爱读书和翻译,曾翻译出版过《C++ API设计》、《Groovy程序设计》和《Java性能权威指南》等技术图书。业余也维护了一个微信公众号“开发资讯(dev-news)”,欢迎关注。
对QCon大会有任何建议或想法,欢迎通过微博 @臧秀涛 与我联系。
随着业务规模和数据量越来越大,在数据库和存储方面我们也面临很多新的挑战:一方面,我们要保证数据安全、可靠地存储;另一方面,我们还要在无错的前提下追求高性能。本专题将通过一些典型案例,分享数据库和分布式存储方面的架构经验。
本主题会先简要陈述阿里HBase过去的实践与改进历程,然后介绍我们过去支撑大规模业务时的一些核心痛点以及碰到的新挑战,最后会着重介绍Lindorm(灵动),这是阿里巴巴研发的新一代高性能、可跨域、多一致的结构化存储产品,其起源于Ali-HBase,但在架构、存储引擎、访问交互方面做了重大的改造,使之相比于HBase,在易用性、可用性、性能、运维性等方面具有重大的能力进化。
百度各个业务线上有很多的有状态服务单点,对线上服务都是潜在的隐患,如何低成本改造一直是服务高可用建设中的核心话题。各式各样分布式存储系统实现过程中都需要考虑分片、复制、修复、选主、均衡等问题,如何标准化实现这些共性问题也是是分布式存储系统设计的一个目标。
Raft协议中构建的复制状态机,为解决上面这些问题提供了便捷的方式。Raft复制状态机能够轻松将有状态服务单点的状态机转化为多副本复制状态机,从而实现这些单点服务的高可用改造;也能够快速实现分布式存储系统中单数据分片的副本维护,可以更专注存储引擎的设计,通过配合分片、放置和均衡等工作,快速搭建出一个分布式存储系统。
为了满足百度对一致性协议的需求,我们设计实现了一个工业级的高性能Raft库———braft。
ZBS是SmartX研发的面向最新硬件开发的高性能分布式块存储系统。除了支持分布式块存储提供的基础功能以外,ZBS还针对虚拟化和超融合场景进行了特定的优化,提供了百微秒级的延迟,和可线性扩展的吞吐能力。同时,ZBS还提供了多重数据保护功能,包括数据校验,快照,拓扑感知,同城双活,异地灾备等功能。
数据的价值决定了存储系统的价值,SmartX ZBS被运用在金融,制造业等领域的服务器虚拟化,数据库等核心应用场景中。目前ZBS已被部署在数千台物理服务器,承载数十PB的数据存储,稳定运行数年的时间。
Prometheus是一款极具特色的监控系统,很多设计选择不同于监控系统。对于很多已经习惯于其他系统的人而言,这会造成文化冲突;经常有人质疑,为什么不选择“看上去更好”的实现方式呢?
本次演讲将分享Prometheus核心组件设计背后的设计决策,包括推还是拉、多维数据模型、标签、指标命名等。