专题演讲嘉宾：沈桐

在大模型应用开发过程中，如何将研究成果与软件工程紧密结合，并解决新领域中的新问题是开发者面临的重大挑战。本次分享将介绍基于 Golang 的解决方案，以字节跳动的实际产品功能为例，重点介绍 Eino 框架在 “组件” 抽象和业务编排方面的创新实践，解决字节实际业务场景中的问题。希望能让听众收获 Eino 框架在大规模生产环境中的应用价值与实践经验参考。

演讲提纲

1. 大模型应用开发过程的挑战

• 研究成果与软件工程的脱节
  • 语言和生态差异
  • 认知和术语差异
• 新领域的新问题
  • 可枚举的组件，多变但有迹可循的编排模式
  • 基于数据帧的流式处理

2. 基于 Golang 的解决方案

• 基于 Golang 的大模型应用开发框架：Eino
  • Golang 的优势：编译期强类型检查
  • 定义组件抽象，提供组件实现
  • 解决组件编排使用的问题
• 两个重要的解决方案：
  • 通过类型对齐，尽早发现代码错误
  • 流式数据传输和处理

3. 分享一个字节跳动的实际产品功能从需求到生产的过程 

• 需求引发框架功能的扩展
• 编排实现业务流程
• 具体痛点解决过程

4. 经验总结

• 应用开发框架作为基础设施的真正作用和正确使用姿势
• 从实践出发，按需跳出框架的范围

您认为，这样的技术在实践过程中有哪些痛点？

• 基于 Golang 的 AI 应用生态，相比 Python 的 AI 应用生态，在覆盖面和丰富度上有不足
• Eino 作为一个基础设施性质的开发底座，需要时刻权衡“积极提供最新的功能扩展”和“最大程度保证 API 稳定，谨慎迭代”两个相反的考量

演讲亮点

• 基于实践经验，总结大模型应用开发过程中的真实痛点，并给出可落地的解决方案
• 分享真实案例，剖析实际问题解决过程

听众收益

• 针对大模型应用开发过程中的真实痛点，获取可落地的解决方案和思路
• 通过具体案例和时机演示，获得感性认识，提供思考的养料