基础设施技术是业务快速发展的基石,本专题聚焦于国内外一线互联网公司在基础设施建设... 展开 >
黄丹( Kitty ),极客邦科技的会议主编,主要负责 QCon 全球软件开发大会内容策划和讲师邀请。技术编辑出身,2014 年加入 InfoQ,喜欢和技术人一起交流,擅长维护讲师关系。可盐可甜,喜欢唱歌、旅行、看书、练字。
基础设施技术是业务快速发展的基石,本专题聚焦于国内外一线互联网公司在基础设施建设方面取得的创新和实践。
Hadoop HDFS 作为业界标准的大数据存储方案,在经历了 10 余年的发展之后,在新场景下也面临不少的挑战,例如缺乏对海量小文件以及对象存储接口的支持,从而限制到了在云平台以及机器学习场景下的应用。OZone 是 Hadoop 社区重点投入开发的下一代存储引擎,它不仅可以很好的支持对象存储接口以及海量小文件,还可以和大数据计算引擎做无缝的结合,并有 Data Locality 机制等保证。在本次分享中,我们将介绍 Ozone 的架构,技术,场景以及腾讯大数据的实践。
1. 理解 Hadoop HDFS 在新时代新场景下的挑战,以及应对策略;
2. 明确 Ozone 的基本原理,架构,技术以及部分实现细节;
3. 了解在真实的生产/测试环境下,Ozone 的表现与行为特征;
4. 揭示 Ozone 乃至数据湖存储未来发展的方向。
KV 存储作为美团点评一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 5 个 9 的服务可用性。为了更好的支撑业务发展,并优化性能成本,我们研发出两套不同定位的 KV 存储系统。针对大数据量、高数据可靠性场景,我们研发了分布式 KV 存储 Cellar;针对高吞吐、低延迟场景,我们研发了分布式缓存 Squirrel。并且,随着跨地域 IDC 建设、服务单元化部署等的发展,Cellar 和 Squirrel 又根据各自不同定位和项目实际进行了不同的架构演进。在本次分享中,我们将介绍美团点评的 KV 存储 Cellar 和 Squirrel 架构、服务优化实践以及 KV 存储的技术发展趋势。
1.了解分布式 KV 存储的架构设计和取舍;
2.了解分布式 KV 存储的服务优化和实践经验;
3.了解 KV 存储在当前技术趋势下的发展方向。
随着容器技术的流行,越来越多的公司选择 Kubernetes 作为他们应用的执行平台,联想也不例外。在联想,我们各个业务团队在 Kubernetes 上运行着不同类型的应用,包括 AI 应用、大数据应用、区块链应用以及在线服务等等。如何为业务团队提供安全稳定、高效易用的执行环境,以及如何降低业务团队对 Kubernetes 使用成本成为平台部门面对的一大挑战。
LKS 是联想研究院 ECR 实验室设计的一个 Kubernetes 托管服务。LKS 使用一个 Kubernetes 集群 Operator 为各个业务团队提供众多 Kubernetes 集群,并将业务 Kubernetes 集群的控制面集中托管到一个中心 Kubernetes 集群进行管理。我们对业务 Kubernetes 的控制面容器做了相应的高可用改造,保证业务 Kubernetes 集群的安全稳定。除此之外,LKS 也为 Kubernetes 集群提供智能监控管理、负载均衡、配置管理等进阶功能,大幅降低了业务团队对 Kubernetes 的使用难度。随着 LKS 支撑 Kubernetes 规模的扩大,LKS 自身架构也不可避免地遇到了一些问题并做了相应的设计改变。在本次分享中,我们将介绍 LKS 的设计架构,以及在 LKS 在运营过程中的一些经验及思考。
1、业务 Kubernetes 集群会遇到哪些问题;
2、Kubernetes 托管带来哪些好处;
3、LKS KubeInKube 托管平台架构;
4、Kubernetes Cluster Operator 设计探讨;
5、全局 Ingress 如何设计;
6、Prometheus 服务如何让性能管理更简单;
7、一些实践经验、坑及思考。
1、Kubernetes Cluster Operator 的设计以及提供高效 Kubernetes 计算引擎的一些注意事项;
2、Kubernetes 服务如何更好地与底层 IaaS 服务交互;
3、业务 Kubernetes 集群更关注哪些问题。