下一代交互架构:LUI 与 GUI 的融合

会议室:富力2
出品人:祖明

交互正在从点击走向对话。本专题关注 Language UI(LUI)与传统 GU... 展开 >

专题出品人:祖明

百度搜索大前端团队负责人

百度搜索大前端团队负责人,百度 EFE 前端团队核心成员,ECharts 团队核心成员,百度前端技术学园创始人,曾任 W3C Miniapp WG Chair 。目前在探索智能时代的大前端界面交互技术方案。

地点:富力2

专题:下一代交互架构:LUI 与 GUI 的融合

交互正在从点击走向对话。本专题关注 Language UI(LUI)与传统 GUI 的融合设计,探讨如何在复杂系统中平衡自由输入与结构化操作,构建高效、可控的新一代人机交互范式。

by 吕菲 教授

北京邮电大学
数字媒体与设计艺术学院副院长

界面范式是人机交互领域的核心概念,决定了用户与系统交互的基本方式。WIMP 范式统治界面设计四十余年,其核心设计智慧在于通过视觉化手段降低用户的认知负担。进入智能时代,语音、手势等自然交互方式被智能系统广泛采用,带来新的交互可能性,也对既有范式提出挑战。本演讲提出面向智能系统的 RMCP 界面范式,结合多项学术论文、设计奖项及教学实践形成的案例,探讨智能交互设计中的核心问题。最后,讨论面向 AI 时代的交互设计所需的人才能力结构。

演讲提纲

1. 引言:界面范式的内涵与意义

  • 界面范式的概念溯源
  • 范式对交互设计的指导作用
  • 技术变革与范式演进的关系

2. 经典 WIMP 范式的解构与启示

  • WIMP 的构成要素与设计逻辑
  • 核心机制:用“识别”替代“回忆”
  • 对“执行鸿沟”与“评估鸿沟”的回应

3. 智能时代的界面范式

  • 智能交互的主要特征
  • 智能交互面临的典型问题
  • RMCP 框架:角色、模态、命令、呈现

4. 智能时代界面范式的设计实践

  • 实践一:“可学性”与“自然性”的权衡
  • 实践二:“自动化”与“控制感”的边界
  • 实践三:智能空间交互中的反馈设计

5. 面向未来的交互设计人才培养

  • AI 时代对交互设计能力的新要求
  • 智能交互设计专业的教学探索

您认为,这样的技术在实践过程中有哪些痛点?

  • 自然交互的“可学性”困境:追求交互方式的自然性,往往需要在系统确定性与用户直觉性之间寻求平衡,这是自然交互设计中一个需要持续关注的典型问题
  • AI 生成中的“控制感”与“自动化”冲突:如何在AI自主决策与用户控制权之间找到恰当的边界,尚无通用设计准则
  • 理论框架与技术迭代的适配:随着技术快速演进,既有框架需要持续用新案例进行检验与补充,以保持其对设计实践的指导价值

演讲亮点

  • 历史视角与理论纵深:从 WIMP 到 RMCP 的演变脉络,为理解AI交互问题提供系统的认知框架,区别于业界从模型能力、工程架构切入的讨论路径
  • 理论研究与实践验证的结合:所提出的 RMCP 框架有学术论文支撑,同时在设计奖项及教学实践中得到应用,形成理论与实践的相互印证

听众收益

  • 获得分析 AI 交互问题的系统性框架:可用于拆解自身产品的交互设计,快速定位问题维度
  • 理解智能交互设计中的核心权衡点:包括自然性与确定性、自动化与控制感等关键矛盾
  • 获得面向 AI 时代的人才能力结构洞察:为团队的人员配置与协作提供参考

by 黄兆嵩 博士

蚂蚁集团
前端工程师

Agent 时代,自然语言交互成为主流,自由的需求表达与直观的数据呈现成为 UI 设计的核心挑战。AI 产品深水区,三大矛盾愈发突出:当业务迭代速度超过 UI 产能,当用户需求变化快于设计节奏,当用户体验需要千人千面。传统的"预先设计→开发→上线"的瀑布流程已难以为继,基于 AI 的生成式 UI 正在重塑生产方式。

然而,生成式 UI 技术 在实际生产过程中仍然面临:

  • 门槛高 — 技术链路复杂,设计师和产品难以上手
  • 质量差 — 生成结果的质量和风格无法满足上线标准
  • 效率低 — 算力需求大,生成速度慢
  • 黑盒化 — UI质量难监督,优化过程不透明

我们的实践:构建半监督评测体系 + 自动化生产/投放平台,降低使用门槛的同时,通过可量化的质量监控实现链路持续优化,最终达成:"让前端生产自动运转,让用户体验随需而变"。本次演讲我将结合实际应用场景,分享我们提升 UI 生成质量/速率的黑科技和 UI 质量评估的技术方案。

演讲提纲

1. 背景:新时代体验技术面临的变革

  • LUI 界面演进 与 千人千面需求
  • 引入生成式UI,介绍 AI 和 Agent 如何重新定义设计与研发
  • 说明现阶段 AI to UI 痛点问题

2. 实践:如何生成高质量 UI

  • 生成式链路设计:Data to UI、需求 to UI、设计稿还原 三个场景的生成式UI 实践
  • 黑科技 Tools:讲解 N 个提升生成效果的工具,实践可实现风格化、高质量、高还原度的 UI 生成

3. 实践:如何实现高响应速度的 UI 生成效果

  • 适配大模型输出的渲染方案实践:流式 UI 生成 & 渲染方案(Code、Markdown、DSL)
  • 面向秒级响应的 ToC 场景:运行时 UI 生成方案

4. 实践:如何实现有效的监督与自动迭代

  • 半监督 UI 评测体系 与 UI 管理平台实践
  • 自动化迭代与优化

6. 总结与展望

  • UI 生产线总结与补充说明
  • 面向未来,打造面向新时代 LUI 界面的自动化 生产、质量把关、投放、反馈的“ AI Agent 团队 ”与产品

您认为,这样的技术在实践过程中有哪些痛点?

  • 在业务深水区,如何实现高质量的风格化 UI 生成
  • ToC 场景下,生成式 UI 如何克服 算力不足和响应时间的苛刻要求
  • 如何标准化主观的 UI 评分,以实现有效的自动化/人工 UI 质量评价与生成质量监督

演讲亮点

  • 高质量 UI 的生产方案:结合多种工具、模型、Agent 和 UI 评测体系的 UI 生成方案
  • 真实业务场景下的链路改进思路和多个实践案例分享:结合真实线上案例,分享生成式 Agents 的演进过程与实践效果

听众收益

  • 了解团队在针对新时代 LUI 产品,构建自动化 UI 生产/监督/投放平台的最新探索实践
  • 掌握 UI 生成领域 提升 UI 生成质量的 N 个黑科技技术
  • 了解 ToC 场景下 运行时 UI 生成方案的实践
  • 了解 UI 评测体系与自动化迭代演进方案

by 邓小红

百度
资深工程师

随着大模型能力提升,用户开始以自然语言表达“想做什么”,UI 也逐步成为模型参与生成的结果。但在真实业务中,问题并不在“能否生成”,而在“如何长期稳定运行”,模型推理成本高、输出结构不稳定、直接生成代码难以治理,使生成式 UI 面临工程化与规模化挑战。

本次分享将围绕“生成能力如何进入工程体系”这一核心问题,结合 AI 搜索应用场景的实践,介绍基于协议的UI 表达方式、统一的解析与组件体系,以及代码直出的生成式UI自动化产线,分享实际踩坑经验与取舍思考,探讨生成式 UI 的可控性与工程回报率。

演讲提纲

1. 引言

  • AI 应用形态的变化
  • UI 从静态到“被生成”

2. AI 搜索应用中的 UI 工程实践

  • 业务中遇到了什么问题?
  • 面向模型的 UI 协议设计(Markdown 扩展 + JSON)
  • 渲染与组件体系的工程落地

3. 生成式 UI 自动化产线的工程探索

  • 为什么选择代码直出
  • 代码直出的现实挑战
  • 自动化产线的工程设计
  • 规模化下的质量保障

4. 总结

您认为,这样的技术在实践过程中有哪些痛点?

  • 协议与 DSL 是约束,也是门槛
  • 生成能力 vs 稳定性:越自由,越难兜底

演讲亮点

  • 从工程视角拆解生成式 UI 的工程成本与可控性问题
  • 分享 AI 搜索应用下协议生成及代码直出两种路径的真实落地经验

听众收益

  • 理解生成式 UI 在真实业务中的工程成本与边界
  • 掌握如何设计“可被模型生成且可控”的 UI 表达与工程体系
  • 获得生成式系统在规模化过程中真实踩坑经验与解决思路

by 林瑞虹

华为
高级开发工程师

生成式 UI 开启 AI 交互新模式,以更直观清晰可交互等方式,改写与大模型等对话过程。结合生成式 UI 的产品,介绍了生成式 UI 的原理以及在业务场景落地诉求下对能力的改造与扩展,讨论了生成式 UI 性能指标以及应用场景的局限性。对业界多个生成式 UI 产品协议进行对比,讨论了协议标准化的不同观点。

演讲提纲

1. 生成式 UI—— 开启 AI 交互新模式

  • 改善文本对话体验,可视化直观清晰
    • 案例:对比长文本流 Markdown 展示 & 可视化文本图表效果
  • 优化多轮信息交互, 贴合业务降低门槛
    • 案例:对比点一杯奶茶选项,手动回复 & 使用 UI 交互回复
  • 千人千面实时渲染,告别“预制”轻松调整
    • 案例:对比生成调研报告,严谨风格 vs 活泼风格, 文案+配色等

2. 生成式 UI 原理与基于场景落地扩展

  • 原理: 结构化输出 + 流式增量渲染 + 缓冲保护区
    • 始于结构化输出——采用 TinyEngine 低代码协议
    • 内存稳定为王,减少框架重渲染 —— 增量补丁实现流式渲染
    • 削减不完整信息引起的错误与不必要的渲染 —— 缓冲拦截规则
  • 场景落地述求下的扩展
    • 更懂品牌与业务 —— 物料可定制扩展
    • 跳出对话框,融合业务 —— 交互上下文扩展
    • 延长线: 生成式 MiniApp —— 共享对话生成应用
  • 性能指标考量与局限性
    • 性能指标与度量 —— 大模型的 TTFT/TPOT 指标 + Web 应用性能指标 => 生成式 UI 指标度量
    • 应用场景局限性 —— 长数据、复杂应用、重复生成的问题讨论

3. 协议对比与标准化争论

  • 协议对比 ( A2UI、cosui)
    • UI 描述能力
    • 数据绑定形式
    • 事件通信模式
    • 协议实现层级与转换
    • 性能、安全等讨论
  • 标准化争论(源自公司内部参与浏览器标准化相关工作组)
    • 争论点:生成式 UI 标准化是否只支持原生 HTML 元素
      • 正方观点:
        • 浏览器内核相关标准应该与框架无关
        • 组件应当限制在通用范围
        • 标准化应围绕现有标准组件
      • 反方观点:
        • 协议应保持开放可扩展
        • 业务侧有更多业务述求,需要灵活支持业务组件与上下文
        • 仅有原生 HTML 元素对于复杂业务场景,LLM 生成效果差(生成速度慢、稳定性差、可靠性差,品牌视觉约束也差)
    • 案例:业务高级搜索框,逻辑复杂,AI 难以一次生成正确的 UI

您认为,这样的技术在实践过程中有哪些痛点?

  • 生成式 UI 依赖大模型输出,在数据过长的场景大模型输出很慢,需要更多方法去给大模型“减负”
  • 在复杂逻辑场景大模型经常会犯一点小错误,需要允许多轮修正
  • 重复生成的 UI 如何获得复用,也是一个值得考虑的事情

演讲亮点

  • 介绍生成式 UI 实现原理,结合落地实践的反思优化
  • 多种协议对比,包括协议的描述能力、扩展能力,安全考量等方面
  • 局限性与延长线的探讨

听众收益

  • 了解生成式 UI 及其应用场景以及当前的局限性
  • 了解生成式 UI 的基本原理和实践落地需要考虑的问题
  • 了解不同协议的大体区别,可以更好地选型

交通指南

北京富力万丽酒店

Renaissance Beijing Capital Hotel
地址:北京市朝阳区东三环中路61号
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

领取往期热门演讲视频

领取往期热门演讲视频二维码
如您在购票过程中遇到问题,请扫码咨询票务小助手