专题演讲嘉宾：姬军翔

一个常见的依托于大语言模型的翻译系统需要同时考虑到部署成本，合规审计，状态缓存，测试与反馈等诸多问题，仿照网络的 7 层架构，自底向上，我们将大语言模型系统分成了 7 层。本次演讲将重点放在如何充分利用 Serverless 的快速迭代和低成本特性，设计一个完整的大语言模型的应用。

演讲提纲

1. 大语言模型应用的 7 层模型

2. 案例分析：基于 Serverless 的大语言模型翻译应用     

• 应用场景
• 架构设计

3. 大语言模型工程化的挑战

• 部署成本弹性伸缩和资源管理

4. Serverless 大语言模型应用最佳实践
    a. Servless Inference
    b. 函数设计原则
        i. 保持简单性
        ii. 保留本地调试能力
        iii. 冷启动优化
        iv. 引入函数编排
    c. 用消息队列匹配容量
    d. 使用正确的工具和框架
        i. CDK
        ii. Chalice
5.  总结
    a. 关键要点回顾
    b. Q&A 环节

实践痛点

• Servless Inference 模型冷启动一般需要 8-10 秒钟
• 当前的 Servless Inference 往往只支持 CPU，因此当前应该首选将周边模型部署在 Serverless 平台上

演讲亮点

• 纵向提出了完整的大语言模型应用的 7 层模型概念
• 横向覆盖从业务逻辑到落地的端到端全景图

听众收益

• 针对大语言模型的一个翻译案例，提供从业务视角到到系统落地的完整案例分析
• 获得大语言模型应用在 Serverless 场景下的部署最佳实践