专题演讲嘉宾：高策

生成式模型在 NLP、图像生成等领域有着广泛的应用，但其复杂的部署需求往往成为一大挑战。以 LLM 为代表的生成式模型相比于传统的模型，具有更多的模型参数、需要更多的 GPU 算力与显存。通过采用无服务器架构，我们可以有效地解决这些挑战，并实现高效、灵活、可伸缩的模型服务。

在本次分享中，我们将首先介绍生成式模型部署时遇到的挑战，以及我们如何使用 Serverless 架构来解决这些挑战，如将模型容器化并部署到无服务器环境中，利用服务指标进行自动扩缩容，进行模型和镜像加载的加速等。

演讲提纲：

1. 背景与挑战

• 生成式模型的应用与分类
• 图像生成和 LLM 不同的模型特点与各自部署的挑战
• 弹性部署为生成式模型带来的好处

2. 已有系统对生成式模型的部署支持

• kserve、seldon core 等已有系统对生成式模型的部署支持
• 已有系统的不足之处

3. 新的系统设计

• 设计目标：多框架支持、Scalability、易用性
• 架构设计：Kubernetes 原生的设计、指标的选择与采集、模型调用与监控、为易用性做的诸多设计等

4. 基于新系统的部署实践

• 通用的优化策略：镜像加速、节点预热等
• LLM 的部署实践：模型加载的加速、如何支持上线前的模型服务器参数调整等
• Stable Diffusion 的部署实践：Web UI 启动速度优化、Gradio/Streamlit 等框架的支持等

5. 总结与展望

• 新的挑战：存储系统的优化、冷启动、containerd snapshotter 的优化等
• 未来展望：LLM 模型的收敛、开源模型 vs 闭源模型、模型与向量召回的联合训练与部署等

你将获得：

• 理解无服务器架构：您将了解无服务器架构的基本概念和特性，了解其如何为生成式模型的部署提供解决方案
• 解决部署挑战：您将了解到生成式模型部署所面临的挑战，并学习如何应对模型大小、计算资源需求和模型更新等问题
• 部署实践分享：您将获得实践经验和最佳实践的分享，帮助您在实际应用中更好地部署生成式模型
• 未来发展趋势：您将了解无服务器模型服务在生成式模型部署领域的潜力和挑战，为您在未来的工作和项目中提供前瞻性的思考和决策依据