架构演进

会议室:宴会厅3
出品人:祝幽

好的架构不是设计出来的,而是演进出来的。

... 展开 >

专题出品人:祝幽

有赞首席架构师

10+ 年互联网电商实践经验,早年实践核心系统去 IOE,做到 99.99% 稳定性。多次负责双 11 稳定性,最近还尝试 3 个月完成电商业务的 15 倍提升和低成本灵活双 11 实践。 多年实践垂直行业,互联网电商核心链路。负责过全网电商商品搜索应用,负责过优化算法引擎和研发优化算法并行计算引擎。现在主要工作研发 SaaS 业务中台,aPaaS 平台和长链路业务的低代码无代码平台。 平时也关注组织和文化建设,实践反大组织间系统摩擦的解决方案,融合中台的效率和垂直行业的灵活性。

地点:宴会厅3

专题:架构演进

好的架构不是设计出来的,而是演进出来的。

by 贾奇

eBay
支付账务系统 FAS 基础架构负责人

eBay 账务系统 FAS(Financial Accounting System)为 eBay 管理支付平台提供记账服务,是所有卖家余额和支付交易等信息的 Source of Truth。由于这类信息是高度敏感的核心金融数据,它们必须被存放在一个具有很高安全性的生产环境。

传统 IT 方案采用计算存储分离的架构,逻辑层为一组轻量级的无状态服务,存储层为数据库。系统的正确性、可靠性和高吞吐等特性都是通过数据库来保证。

eBay 安全部门对目前主流的分布式关系型数据库做了评估,发现在安全性上并没有完全满足要求。于是我们另辟蹊径,以 Append-Only Log 作为底层存储介质,采用 Raft 共识算法将 Log 实时复制到异地数据中心,上层采用领域驱动的设计思想(Domain Driven Design)对业务进行建模,用事件溯源(Event Sourcing)的方式处理消息并将结果写入到 Log 中。通过这种非主流计算存储结合的方式,我们做出了一个在核心链路上没有数据库的完整账务系统。

该系统自去年 3 月上线以来,已经帮助全球千万卖家处理交易总计超百亿笔,日均实时处理线上过亿支付流量,每日 payout 金额过亿美元。系统上线至今稳定运行,并成功做到“三无”:无一次数据丢失,无一次转账错误,无一次整体宕机。系统后台仅由 5 台计算机组成,对硬件资源要求低,且几乎无需运维。本次分享想通过介绍该系统背后的架构演进,为大家解决同类问题提供一种不一样的思路。

演讲提纲:

  1. 背景介绍
    • 业务简介
    • 为何不采用主流基于数据库的计算存储分离架构
  2. 当前成果
    • 数据可靠性
    • 服务可用性
    • 系统性能
    • 数据可审查性
    • 实现成本
  3. 架构演进
    • 架构 1.0  - 使用 DDD 和 Event Sourcing 对业务建模
    • 架构 2.0 - 解决数据不丢失问题
      • 使用 Raft 共识算法实现异地实时备份
      • 上层业务正确性挑战
    • 架构 3.0 - 提升服务可用性
      • 通过自研的“双主合一”的设计方案,在保证正确性的同时提高了服务的可用性
      • 进一步讨论:如何在 Raft 换主的情况下保证上层业务主的自动切换
      • 带来的新挑战:吞吐率太低、换主后数据恢复慢
    • 架构 4.0 - 提高系统吞吐量和加快数据恢复速度
      • 利用批处理方式提高吞吐量
      • 采用 RocksDB 和内存的两层存储结构加快数据恢复速度并减少内存使用
    • 架构 5.0 - 安全和完善的数据生命周期管理
      • Log 包含了最核心的支付数据,具有很高的安全级别
      • 监管要求保留所有 Log,但硬盘空间有限,放不下所有 Log,如何两者兼顾?
    • 自研的测试框架
      • 如何证明上面做的一切都能按照预期工作?
      • 使用 chaos engineering,证明系统在底层硬件和网络极不稳定的情况下依然能对外提供“三无”服务
  4. 架构适用场景
  5. 未来工作
    • Scale Up
    • Scale Out
    • 读模块
    • 开源

你将获得:

  1. 了解如何从零打造一个不需要数据库的金融级账务系统
  2. 了解经过反复验证的测试该类系统正确性和性能的实战经验
  3. 了解核心金融数据生命周期的管理方案

by 刘伟

百度
资深研发工程师

搜索作为数字时代的新基建,百度搜索中台承担了每天数百亿次的用户检索请求,支撑了阿拉丁、应用内搜索等全场景的搜索。和 ElasticSearch 不同,整个架构是一个包括近 20 个模块的微服务架构,覆盖了从内容计算到线上检索的全流程,系统已经具备了自动化运维和服务伸缩的能力,但随着业务规模和系统复杂度的逐步增加,我们发现单纯的服务级别的伸缩已经不足以解决问题,系统面临效率和成本多方面的挑战。

我们从整个系统的视角出发,将整个系统的弹性能力和服务层面的伸缩进行解耦,将数据分布的调整、计算编排的调整、服务拓扑的调整等都纳入到整个系统的弹性化机制中,从而在整个搜索系统层面最优化高效交付业务需求。

整个工作中最为核心的是搜索数据和计算两大维度的弹性化建设,在数据层面我们实现了内容数据智能管控,赋予海量内容数据智能;在内容计算方面,基于 FaaS 赋能业务超敏迭代能力。在极致可扩展、极致的机器成本和人工维护成本方面取得突破。

基于系统化的弹性能力,我们进一步通过理解业务需求打通了用户需求到开发运维的一体化流程,实现了超自动化的需求交付。

整体的这部分工作将业务接入人力消耗降低 50%,将业务需求迭代的平均时间由周级别降到天级别;机器成本上平均有 20%~30% 的收益。
 
演讲提纲:

  1. 百度搜索中台介绍
    • 搜索中台架构介绍 
    • 搜索中台对于业务的支撑模式
  2. 复杂异构业务带来效率成本多维度挑战
    • 从业务需求的交付流程来看面临的挑战
    • 如何自适应适配业务需求的变化
  3. 存储的弹性化机制建设
    • 理解搜索系统的数据
    • 智能数据管控
      • 数据分组策略
      • 数据分配策略
      • 数据迁移策略
  4. 内容计算的弹性化机制建设
    • 搜索场景下的内容计算诉求
    • 函数计算服务解决内容计算弹性问题
      • 数据生效时效性的自适应保障机制
      • 智能函数编排
  5. 基于弹性化能力实现超自动化交付能力
    • 再看业务需求的交付流程
    • 超自动化交付
  6. 展望
    • 需求理解的标准化
    • 搜索低代码平台

 
听众收益:

  1. 了解百度搜索中台检索系统
  2. 了解如何在百亿级检索、上百亿高品质数据的超大规模下,在搜索成本、超敏迭代方面取得新的技术突破

by 张熠

58同城
信息安全部智能架构负责人、架构师

58 集团业务产品形态中 UGC 内容众多,在此产品生态下产生的大量内容治理工作具备很大挑战。

从架构决策视角,结合行业背景、业务发展进行整体性的问题拆解和决策规划,并且根据决策定位的相应特性给出核心的架构设计,以及如何通过架构演进来支撑业务全链路的技术发展需要。从工程实现视角,依据架构定位在高可用、高吞吐、高并发、高扩展等常见维度上进行诠释践行,同时针对大型平台的观测性治理给出完整的解决方案。

演讲提纲:

  1. UGC 业务领域特性
    • 58 产品生态
    • 生态面临的法律风险、业务风险
  2. 内容安全挑战
    • 何为内容安全
    • 内容安全治理工作的核心构成
    • 内容安全治理能力的建设思路
  3. 业务架构的思考和决策
  4. 架构演进
    • 第一代架构
      • 业务特性
      • 架构设计
      • 架构效果
      • 新的业务“矛盾”
      • 架构演进前奏曲
    • 第二代架构
      • 业务特性
      • 架构设计
      • 服务治理
      • 快速的能力“输出”
      • 良好的业务“体感”
      • 健全的全局“掌控力”
    • 第三代架构
      • 业务特性
      • 架构设计
      • 进行时挑战--面向 media 的架构设计
  5. 实践之痛纪实
    • 架构理念落地之痛
    • 三高治理之痛
    • 观测性之痛
  6. 架构演进道与术的思考
  7. 未来规划

听众收益:

  1. 了解如何在百亿级内容安全治理架构中,构建一套稳定、可靠的内容安全能力
  2. 了解如何根据行业趋势、业务发展,提前规划、适时推进架构演进
  3. 了解如何在架构演进中决策核心设计理念,把握理念的精准实践
  4. 了解如何在实践中看待技术痛点,形成可扩展的解决方案

by 王晨纯(沐剑)

阿里巴巴
高级技术专家

今天在公有云的 IaaS 和 PaaS 相对成熟的基础上,有理论上无尽的算力去驱动计算,应用架构应该朝着云的特性去演进它的设计,和过去软件充分适应新硬件特性去设计一样,对于异地多活、全球化的业务从跨 Region IDC 的视角去设计。业务架构要去思考如何跨 IDC 规划自己的算力,把云真正当做一个跨全球的超级计算机使用,只是内部部分场景延迟高一些,但可扩展性足够强。

演讲提纲:

  1. 如何理解云原生
    • 从微服务到云原生,CNCF 给我们带来什么
    • 基础设施的依赖反转,业务在云上和云下如何运行在不同的基础服务
    • 计算粒度的不断细化,从服务器、容器到函数
    • 对应用部署架构的影响,从统一 SDK 到 Sidecar 的演进
  2. 计算资源视角的转变
    • 研发对算力的描述从服务器变为算力规格
    • 计算存储分离架构:在秒杀和大容量业务场景下,数据库的计算和存储扩容需要解耦
    • 万兆网络带来的变化,本地不再比远程更可靠
    • 软硬一体化架构:让软件充分利用新硬件的特性
  3. 算力视角看应用架构设计
    • 差异化的异地多活(电商/游戏/视频等):体验、扩展性、容灾、单位计算成本
    • 中心到边缘:从 CDN 到 IoT,工业互联网的边缘计算
    • 离线和在线:国家“东数西算”工程和背后的技术
    • 全球计算:跨境服务如何保障本地体验

听众收益:

  1. 了解从服务器到函数的计算形式在实际场景的应用
  2. 从跨Region和IDC的角度看待业务应用的架构设计

by 任长清

中国工商银行
业务研发中心业务架构管理部总经理

在数字化转型的大背景下,工商银行领先同业实施了企业级业务架构工作,并以业务架构为基础,围绕业务架构的应用、管控大胆探索、小心求证,形成了一系列基于业务架构的方法成果和实践经验,包括基于业务架构的业务研发体系、业务顶层设计 Z 模型、金融科技创新方案、需求整合、用例标准化等,自助研发建设了业务架构资产管控平台和研发协作平台,实现了业务研发的线上化、业务资产应用的智能化,对银行同业完成数字化转型具有很多借鉴意义。

演讲提纲:

  1. 工商银行业务研发体系演进历程
  2. 工商银行业务架构体系
    • 总体设计思路
    • 工行银行业务架构元模型
    • 工行银行业务架构体系
  3. 基于业务架构的业务研发体系
    • 体系构成与内涵
    • 顶层设计“ Z 模型”与典型案例
    • 战略能力解析与典型案例
    • 金融科技新技术创新方案与典型案例
    • 需求整合与系统实现
    • 需求的标准化编写与系统实现
    • 业务研发协作平台演进

你将获得:

  1. 了解业务架构的基础知识
  2. 了解工商银行基于业务架构的业务研发实践

by 罗磊

喜马拉雅
电商中台技术经理

喜马以电商的方式赋能了公司几乎所有付费营收类业务线,喜马电商平台的架构整体上选择了以 DDD 领域驱动为指导思想来建设。包括电商核心业务的领域建模,比如订单域、售后域、履约域、商品域、促销域等。

我们在 DDD 的实践和架构演进过程中又逐步和一些经典的互联网架构相融合以解决一些实际遇到的问题,在这个过程中积累了一些经验和教训在此和大家分享并探讨。除此之外,我们探索并建立了一套适合 DDD 落地的基础框架和项目规范,具有一定借鉴意义。

演讲提纲:

  1. 总体介绍
    • 喜马电商平台的特色和业务架构
    • 为什么选择了以 DDD 为指导思想的方式落地整个电商平台架构
  2. DDD 之电商核心业务领域建模
    • 交易订单域
    • 售后域
    • 履约域
    • 商品域和促销域
  3. DDD 与经典互联网架构的融合落地
    • 基于 DDD 的基础框架和项目规范公约探索
    • CQRS 和数据异构:订单和商品检索系统
    • Event Sourcing 和缓存一致性:商品缓存架构
    • 性能的取舍权衡之路
  4. 未来规划
    • 向云原生迈进的电商架构

你将获得:

  1. 了解如何基于 DDD 思想设计电商领域模型,支撑多样化前台业务,帮助业务快速实现付费业务目标
  2. 了解 DDD 在落地过程中和一些经典互联网架构的融合与灵活运用
  3. 了解一套适合 DDD 落地的基础框架和项目规范的探索

by 孙杰

某能源科技公司
数字化能力中心技术总监

业务架构是以企业战略为基石,结合业务流程,组织架构的一种表达方式,更是技术架构的驱动力,企业通过构建业务架构,来缓解企业压力,与数字化转型的不适。公司立足能源行业,结合不同业务流程和业务需求的分析,从数字化转型的整体出发,把企业战略融入到业务架构的整体设计中,以技术驱动来解决实际的问题,实现了数字化转型的不断跃升。

演讲提纲:

  1. 企业级业务架构的演进
    • 业务体系构成
    • 顶层设计模型与演进
  2. 企业级业务架构的数字化转型落地实践
    • 业务总体设计思路
    • 公司业务架构模型
    • 企业架构驱动的业务架构升级
  3. 企业级业务架构的未来三个变化和思考
    • 需求整合与系统实现
    • 业务研运一体化平台实现
    • 业务中台的场景化与应用

你将获得:

  • 了解企业级业务架构的设计思路
  • 了解企业级业务架构的数字化转型实践
     

交通指南

上海宝华万豪酒店

Shanghai Marriott Hotel Parkview
地址:上海市静安区广中西路 333 号
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

小姐姐 小倩