专题演讲嘉宾:安江华

蓝耘科技CTO

安江华,2021 年至今担任蓝耘科技集团股份有限公司副总经理兼 CTO,主要负责蓝耘科技的产研及智算服务团队管理,带领产研团队从 0 搭建 “蓝耘元生代MetaGen” 智算中心操作系统(AIDC-OS),是蓝耘技术的核心领导者,拥有多项作为第一发明人的发明专利。

by 安江华

蓝耘科技
CTO

蓝耘元生代从0开始做 MaaS,从单节点调度,到大规模多集群多数据中心,从硬抗 MaaS API 流量洪峰,到分时调用,智能调度。解决了工作时间流量洪峰,闲时流量断崖下滑导致资源使用率低等一系列问题。实现了单天千亿 tokens 的稳定高效调用实践。

演讲提纲

  1. MaaS 调用方式的演变
    • 网页对话模式
    • API 模式
    • 应用集成
    • 桌面终端
    • IDE
    • Agents
  2. MaaS 资源调用规模和架构的演变
    • 单机
    • 单一集群
    • 多集群
    • 多机房
    • 多供应商
  3. 通过单日千亿调用量的深度实践,让 MaaS API 网关跟上 AIGC 的快速迭代步伐
    • 通过统一网关模块化设计,快速兼容新协议
    • 通过区分业务场景分时调用,解决流量不均衡问题
    • 通过多供应商智能调度,迎接流量洪峰
    • 通过智能感知调度,解决机器的弹性扩缩容

这样的技术在实践过程中有哪些痛点? 
人工智能市场变化太快,一个新的技术热潮迭代只要几个月时间,API 网关的复杂设计虽然解决了调度效率,但是在适应市场变化的过程中也要跟着快速迭代,这很考验蓝耘 MaaS 产研团队的技术迭代速度。

演讲亮点
行业中的 MaaS API 网关调度多是规模小功能简单调度不智能,蓝耘 MaaS API 网关通过技术和业务的特性来智能调度,很好的适应了大规模多集群多机房,非线性流量调度的场景。

听众收益
了解当前 MaaS 市场的调度痛点,增加智能调度的新思路。

交通指南

北京富力万丽酒店

Renaissance Beijing Capital Hotel
地址:北京市朝阳区东三环中路61号
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手