刘硕然,京东技术架构部资深软件开发工程师。有多年文件系统,Linux 内核及分布式存储经验。负责开源分布式文件系统 ChubaoFS 的架构设计及研发。目前 ChubaoFS 在京东已经服务超过 100 个业务方及应用服务。
刘硕然,京东技术架构部资深软件开发工程师。有多年文件系统,Linux 内核及分布式存储经验。负责开源分布式文件系统 ChubaoFS 的架构设计及研发。目前 ChubaoFS 在京东已经服务超过 100 个业务方及应用服务。
随着云原生概念的兴起,越来越多的公司意识到了云原生架构对于基础设施建设带来的巨大收益,开始了应用服务上云的实践。但是,有状态应用需要使用 on-premise 的分布式存储,其 I/O 性能对有状态应用云化提出了很大的挑战。本次演讲将主要介绍云原生的分布式文件系统 ChubaoFS 的整体框架和技术特点,以及 ChubaoFS 在京东是如何支撑大量的有状态应用服务的。 目前,ChubaoFS 的应用场景主要有以下四类:海量数据的离线备份存储;替换传统的分布式文件系统,如 HDFS,CephFS,MooseFS,GlusterFS 等;在线的日志存储服务,如 Nginx logs 等;对于 POSIX 文件系统语义要求较高的应用,如 ElasticSearch,TensorFlow,Spark 等。
ChubaoFS的一些设计及经验总结也受到了学术界的认可,论文可参考Haifeng Liu, et al., CFS: A Distributed File System for Large Scale Container Platforms. SIGMOD‘19, June 30-July 5, 2019, Amsterdam, Netherlands。同时,项目代码也已经开源,github.com/chubaofs/chubaofs 。
1. 如何做到多租户,共享存储资源,提高资源利用率。
2. 如何通过两种复制协议支撑顺序和随机的读写。
3. 如何支撑高并发的文件系统元数据操作。
4. 如何针对小文件做性能优化。
5. 如何在 POSIX 文件系统语义和性能之间做取舍。