专题演讲嘉宾：赵薇

大模型技术日新月异，展现出更强的学习能力和更高的泛化能力，为众多 AI 应用开辟了新的视野。在实际应用中，Motiff 妙多设计工具尝试调用通用大模型来解决产品问题。虽然部分尝试取得了一定成效，但在涉及专业领域时，通用大模型往往显露出局限性。 本次演讲将以 UI 领域为例，介绍如何构建领域特定的多模态大模型，阐述相关技术方案和选型。同时，我们将探讨领域多模态大模型将为 UI 设计工具带来的新机遇与挑战。

演讲提纲

1. 通用大模型在 UI 设计领域的应用及痛点

• AI 生成设计系统
  • 通用大模型无法从专业的角度描述界面元素，比如：组件名称，icon 语义，模块名称等
• AI 生成 UI 设计稿
  • 通用大模型无法遵循 UI 领域的指令
  • 通用大模型无法将用户需求翻译成界面控件

2. 如何构建一个 UI 领域的多模态大模型

• 数据收集方法（亮点：less is more）
  • “less is more” vs “大力出奇迹”
  • 领域专家数据蒸馏
  • Prompt 工程
• 模型选择（亮点：适配 UI Screenshot）
  • 整合专家模型 vs 从头开始进行多模态训练
  • 视觉编码器
  • 大语言模型
  • Connector
• 训练策略（亮点：不仅仅是 SFT ）
  • 两阶段训练
  • 更多阶段训练

3. Motiff 妙多大模型赋能 UI 产品研发

• Icon 的理解不再局限于固定的类别，而是能够根据上下文的变化，动态地输出最贴切的语义描述
• 设计稿自动泛化到更多的场景，比如：编辑
• 快速验证更多更有趣的 UI 产品创意

4. Motiff 妙多大模型的机遇和挑战

• Zero/Few/Many Shots 带来的快速原型尝试
• 大模型在 UI 设计工具中的交互挑战

实践痛点

关于多模态大模型的领域迁移：因为实验成本较高，在构建领域模型的过程中很难做完备的消融实验。

演讲亮点

我们自研的 UI 多模态大模型在短时间内就在多个公开评测指标上超越了 Apple，赶上了 Google。尽管 Google 使用了 4 亿条训练数据，我们仅用 1000 万条就达到了相近的效果。

听众收益

• 多模态大模型前沿技术
• 多模态大模型如何做领域迁移