云与大数据平台架构实战。 ... 展开 >
臧秀涛,现就职于 InfoQ,任 QCon 大会主编,负责 QCon 大会的策划和组织。2010 年毕业于中国科学院计算技术研究所。曾先后在完美世界等公司从事软件开发工作。2014 年加入 InfoQ。业余喜爱读书和翻译,曾翻译出版过《C++ API 设计》、《Groovy 程序设计》和《Java 性能权威指南》等技术图书。业余也维护了一个微信公众号“开发资讯(dev-news)”,欢迎关注。
对 QCon 大会有任何建议或想法,欢迎通过微博 @臧秀涛 与我联系。
云与大数据平台架构实战。
Pandora 是七牛自研的一套大数据平台, 目前每天有超过 200T 的增量数据进入 Pandora,每天参与计算的数据量超过 2P。 全平台基于 Go + Scala 语言编写,定制了多个开源项目,基于 Kafka 自研了数据流入、导出以及多集群处理等多个关键组件。本次分享将深度揭秘七牛大数据平台的技术选型,组件设计、系统调优及架构演进。此外在演进过程中我们也遇到了不少的“坑”,分享中会给出对应的解决方案,作为本次分享的亮点。