面向智算服务构建下一代可观测 Pipeline

所属专题:云原生工程实践

嘉宾 : 徐可甲 | 阿里云高级技术专家

会议室 : 钻石厅D

讲师介绍

专题演讲嘉宾:徐可甲

阿里云高级技术专家

徐可甲,阿里云高级技术专家,可观测采集开源项目 iLogtail 负责人。10年以上工作经验,目前就职于阿里云可观测团队,主要关注大数据安全、可观测数据采集、海量数据接入治理等领域。曾在华为从事过分布式内存数据库的研发工作,在百度从事过计算广告平台相关的研发工作。喜欢做技术总结和分享,在各种渠道发表优质文章 30+ 篇以上,阅读量累计 100w+。

议题介绍

演讲:面向智算服务构建下一代可观测 Pipeline

在 AIGC 浪潮推动下,Kubernetes 逐步成为众多 AI 应用运行的首选平台。越来越多用户希望在 Kubernetes 容器集群中管理 GPU 资源,开发运行深度学习和大数据任务,部署和弹性管理 AI 服务。本议题旨在深入探索如何在智能计算服务的复杂生态中,如何基于 iLogtail 构建一套先进的可观测性采集与处理 Pipeline,将深入剖析构建过程中涉及的技术原理和难点,探讨可观测性 Pipeline 的性能和稳定性策略,最后结合案例讲解面向智算服务的可观测 Pipeline 构建实践。

演讲提纲

1. 云原生智算服务核心技术栈

  • 分层介绍云原生智算服务技术栈及核心场景
  • 智算场景下 Kubernetes 使用的新趋势

2. 智算服务可观测数据采集和处理的需求和技术难点

  • 根据智算服务部署、数据规模、多租的特点,如何低成本、安全地实现高效采集及数据标准化
  • 如何应对大规模智算集群自动化采集、批量管控、可观测的难度

3. 下一代可观测 Pipeline 架构设计

  • 整体设计目标与愿景
  • 围绕性能、稳定性、可编程性、生态能力等方面,展开介绍 Pipeline 核心架构

4. 智算场景下可观测 Pipeline 技术实践

  • 面向分布式多租集群的数据采集全面性与隔离性考虑
  • 大规模集群管控实践
  • Pipeline 稳定性建设实践

5. 开源与未来展望

实践痛点

  • 如何有效管理(大规模集群便捷的管控能力)和整合异构的多模态数据源(SPL等灵活的处理能力)以便于后续的高效数据分析
  • 如何确保在资源约束下处理大规模数据的性能、实时性、隔离性与稳定性
  • 如何与业务场景相结合,在复杂 AI 应用场景实现采集数据的全面性与数据精度

内容亮点

  • 下一代可观测 Pipeline 架构精析:深入探索面向智能服务的下一代可观测 Pipeline 技术架构,该架构以卓越性能为核心,依托高稳定性的系统设计,实现了数据采集、处理的极致效率与灵活性
  • 贴近实际业务场景,大规模多租户智算环境下的可观测 Pipeline 技术实践,包括不限于自动化管控、多租隔离等

听众收益

  • 了解智算服务核心技术与发展趋势
  • 结合 Kubernetes 技术生态,深入到核心技术原理和实现细节,帮助听众理解构建可观测 Pipeline 的技术挑战
  • 展望可观测性 Pipeline 技术在智算领域的未来发展方向

交通指南

上海中谷小南国花园酒店

China Grain Hotel
地址:上海市杨浦区佳木斯路777号(近营口路口)
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手