大数据实时计算与分析

会议室:201CD
出品人:杨传辉(日照)

大数据计算经历了离线计算、实时计算的演进,还在不断成长成熟,整个生态领域也随之得... 展开 >

专题出品人:杨传辉(日照)

蚂蚁集团资深总监

杨传辉(花名:日照)蚂蚁集团资深总监、OceanBase研发总经理,全面负责OceanBase研发工作。作为OceanBase创始成员和首席架构师,主导了OceanBase技术架构设计,实现分布式数据库在核心金融场景零的突破,完成蚂蚁集团核心数据库100%上OceanBase,主导OceanBase TPC-C测试并取得世界第一。曾在百度负责云存储与云计算系统研究工作,著有专著<<大规模分布式存储系统:原理与实践>>。

地点:201CD

专题:大数据实时计算与分析

大数据计算经历了离线计算、实时计算的演进,还在不断成长成熟,整个生态领域也随之得到了很大的发展。目前,基于分析的大数据计算平台在各大公司发挥着非常重要的基础设施的作用。本专题主要介绍大数据实时计算和分析领域的最新趋势和最佳实践,用以为公司和行业提供更加智能的服务和决策。

 

 

by 潘毅

蚂蚁集团
资深技术专家

原生分布式数据库是随着时代的发展,业务数据量和使用量的飞速上涨而应运而生的。OceanBase 的实践证明了原生分布式数据库对于 TP 负载和 AP 负载都有着很好的处理能力,对于用户来说是一个更加简单和统一的方案,对于大数据量的承载,分析和高业务流量的核心系统处理都有巨大的价值。

OceanBase 可以很好的处理大数据量的跑批场景。自研的资源隔离功能,以及丰富的数据库产品功能,都能够很好的满足客户的各种场景的需求。相比于常见的基于数据库中间件分库分表的方案,OceanBase 能够更加简单和方便的给到用户一套同构的系统进行运维使用,实现 HTAP 混合负载的能力需求。

演讲提纲:

  1. OceanBase 的诞生契机和发展历史,架构介绍
  2. 对于 OLTP 场景的分布式解决之道
    • 原生分布式系统解决了 OLTP 系统的扩展性问题
    • TPC-C 记录背后的解析
    • MySQL 和 Oracle 两种兼容模式在用户系统迁移,易用性上的价值
  3. OLAP 场景下分布式架构的潜力
    • 依托分布式架构,六年时间打造了自己的代价优化器和分布式并行执行引擎
    • PDML 的研发和大事务的改进更好的支持传统跑批场景
    • 自研的资源隔离功能
  4. 关系数据库对于 HTAP 的展望
    • 相比于常见的基于数据库中间件分库分表的方案的优势,对于用户的价值

你将获得:

了解 OceanBase 的分布式架构,如何帮助 OB 取得 TPC-C 的世界第一跑分,如何在 OLAP 场景下获得整体系统性能的提升和使用形态,资源隔离模型等,理解一套同构系统满足 HTAP 需求对于用户的价值。

by 吴中波

腾讯
大数据专家工程师

Hermes 是腾讯数据平台部自研的实时分析平台,在公司内服务于上百个业务,集群规模 5000 个节点,每日数据接入量 4 万亿,查询量千万级别。作为一个公共的平台,面对的业务场景非常复杂,包括在线高并发分析、即席交互分析、海量日志分析、实时接入数据和近实时增量更新。

本次分享将介绍 Hermes 的索引与列存结构、动态的资源管控和调度策略、内存复用和计算优化技术、自动化的运营体系,以在一个平台支持多种业务和混合负载的场景。

演讲提纲:

  1. 多样性的业务场景
    • 典型应用场景
    • 相比通用解决方案的差异化能力
  2. 技术架构
    • 系统基础架构
    • 关键技术解析:索引与列存结构、资源管控和调度、内存复用和计算优化
    • 应用案例介绍
  3. 未来展望 

你将获得:

  1. 高性能实时分析系统的底层技术实现原理
  2. 海量数据和大规模集群的实时分析平台的运营经验

by 金晓军

阿里巴巴
资深技术专家

演讲提纲:

  1. 为什么要做服务、分析一体化的系统,传统离线数仓与 Lambda 架构存储的问题
  2. 服务、分析一体化系统遇到的问题与挑战
  3. 如何实现离线实时一体化存储引擎
  4. 如何实现服务、分析一体化的查询引擎
  5. 如何去做混合查询的查询优化和查询调度

by 陈明雨

百度
资深研发工程师

Apache Doris (Incubating)是百度自研分析型数据库 Palo 的开源版本,由 2018 年贡献给 Apache 基金会孵化。目前已在百余家互联网、垂类和传统企业中落地应用。Doris 旨在提供 PB 级数据中的低延迟、交互式数据探索,同时也能够支持高并发在线报表类场景。

本次分享会介绍 Doris 的系统架构和核心功能特点,并结合具体案例为大家介绍 Doris 实践应用。同时介绍 Doris 在接入实时流数据,以及数据更新场景下的最新研发进展,使得 Doris 能够更好的服务于在线实时数据场景。

演讲提纲:

  1. 演化之路
    • 从百度 Palo 到 Apache Doris的发展历程
    • 介绍 Palo/Doris 的设计初衷,迭代过程
  2. 系统架构
    • 介绍 Doris 的系统架构和重点特性,包括 MPP 查询引擎、物化视图、分布式管理等亮点功能
  3. 面向更新场景的解决方案
    • 介绍 OLAP 系统在数据实时同步、CDC 场景下的需求和痛点
    • 讲解 Doris 针对这些问题所给出的解决方案和技术实现,以及最终如何实现同步 MySQL Binlog 进行实时数据洞察的能力

交通指南

北京国际会议中心

Beijing International Convention Center
地址:北京市朝阳区北辰东路7号
  • 微信咨询

  • 电话咨询

    联系电话:+86 17310043226

微信联系我们

小姐姐