苹果在 2023 年 WWDC 上发布的重磅产品 Apple Vision Pro，淘宝在 XR 的领域上也在持续的耕耘，在这个新的平台上看到了更大的可能性。2024 年 Apple Vision Pro 正式发售，淘宝也首发登陆了全新的设备，带来了全新的体验。本次演讲将介绍淘宝在适配新的平台上面临的挑战，并且从工程架构、软件架构、空间内容的研发、软件设计的交互几个方面介绍淘宝在 Vision Pro 平台上给出的解决方案。

演讲提纲

1. visionOS 背景介绍

• visionOS 的差异与变化
• 从 Framework 到 XCFramework 的「魔改」之路
• SwiftUI Only API 对程序运行的影响
• 多 Scene / 多 Window 对程序运行的影响

2. 淘宝 Vision Pro 沉浸式技术探索

• 应用式 3D 研发 vs 游戏 3D 研发差异
• 大规模 3D 模型在淘宝 Vision Pro 的应用及挑战
• 大规模空间视频在淘宝 Vision Pro 的应用及挑战
• 自定义手势交互在淘宝 Vision Pro 的实践和应用

3. 淘宝 Vision Pro 最佳实践

• 技术底座 - 淘宝 Vision Pro 工程架构介绍
• 生命周期 - Immersive Space / Share Space 混合的生命周期管理
• 框架容器 - 如何设计 2D / 3D 混合的业务容器
• 窗口管理 - 窗口管理方式思路的变化

4. 总结与展望

• 总结 - 淘宝 Vision Pro 当前创新效果展示
• 展望 - 沉浸式直播探索

实践痛点

在新的平台上还有很多其他的问题没有解决，还需要不断的探索和持续推进。

演讲亮点

• 深度剖析 visionOS 平台技术细节
• 超级 App 适配 visionOS 新平台的完整实践经验

听众收益

• 了解淘宝 Vision Pro 在 visionOS 上最佳实践
• 了解 visionOS 工程架构的诸多细节

性能和体验在 iOS / Android 双端场景下已经是一个较为成熟的话题，但随着鸿蒙 OS 的发展，端侧开发者需要更多的关注多端场景的差异性。本次分享议题将以独特于双端的视角，分享小红书在鸿蒙 OS 上的性能创新实践。

演讲提纲

1. 背景

• iOS / Android 双端在行业内已经积累了较为丰富的性能优化经验，其中不乏多样化的工具建设以及复杂的业务场景
• 在鸿蒙 OS 上遇到相似的问题时的可以借鉴的经验，新的平台上又有哪些新的思路和解法

2. 鸿蒙 OS 特有的优化能力实践

• 分析工具
  • 传统的主观测评等方案结合 DevEco Profiler 和 SmartPerf 等工具，使性能问题得到快速归因
• OS 能力
  • IO 场景优化：并行化以及多线程通信，如 Worker，Sendable，TaskPool 等
  • 冷启动以及首刷场景优化：ArkTS 类前端视角下的模块懒加载和动态组件
  • 滑动场景优化：Prefetcher 优化方案
  • 工程代码治理：静态代码检测工具 CodeLinter 辅助定位性能热点问题

3. 收益和总结

• 结合鸿蒙 OS 平台特有的分析工具和系统能力，对比双端的差异性，给予听众一些创新实践经验
• 未来展望与持续优化

实践痛点

鸿蒙 OS 版本和三方库的频繁变更，性能优化方案所依赖的系统能力的稳定性会下降，针对于每一个场景的优化实践需要在多场景下进行验证，因此需要投入相对较多的人力

演讲亮点

• 小红书作为华为鸿蒙 OS 深度合作伙伴，很多性能优化实践是和华为性能工厂，华为俄研所共同建设的，如 IO 场景并行化，滑动场景优化方案等，是行业内的首批先行者

听众收益

• 听众可以详细了解小红书在鸿蒙 OS 上的性能优化实践案例
• 对比 Android/iOS 端的类同性能优化场景，以前端视角展示鸿蒙 OS 上特有的能力上有何不同

在新时代的终端开发中，AI、XR、新 OS 等技术为我们带来了诸多机遇。然而，在大型开发团队和复杂应用场景中，终端应用的性能稳定性却依然面临着防劣化的挑战。本次演讲将分享 QQ 性能团队的实践，深入探讨终端应用性能稳定性防劣化的重要性和实现方法，以及与 AI 技术的结合的前沿探索。

演讲提纲

1. 为什么要做防劣化

• 问题背景：超大型项目面临着代码体量大、迭代需求紧、频繁且大量的代码变更合入等复杂场景，性能和稳定性劣化的问题。
• 思路分析：面对如此复杂的问题，QQ 团队有哪些新思路和破局方法。

2. 防劣化系统的实现

• 整体方案与架构：详细介绍整个防劣化方案的架构设计
• 难点问题剖析：使用 xctrace 等新技术实现比业界传统方案更优秀的快速归因能力
• 防劣化策略的具体应用和效果：以 iOS QQ 的启动耗时优化为例，深度讲解 QQ 的启动耗时的所有优化和防劣化实践
• AI 与防劣化：使用 AI 自动分析和修复性能问题的实践案例

3. 收益与总结

• 分享 QQ 在防劣化方案落地以来取得的一些收益和经验。

4. 展望未来

• 探讨进一步提升终端应用性能稳定性的方法，以应对不断变化的技术环境和用户需求。

实践痛点

1. 方案对设备一致性、环境一致性要求较高，维护设备成本较高
2. 方案需要依赖较为完善的 CI 基建

演讲亮点

1. 使用全新的 xctrace 性能采集方案，丰富的性能数据让劣化快速归因不再困难
2. 全新的冷启动 pre-main 耗时优化手段
3. 性能问题的 AI 自动分析、修复实践

听众收益

1. 收获超大型项目的性能和稳定性防劣化的完整实践经验
2. 了解 QQ 防劣化与 AI 技术的结合探索与思考

在软件开发中，大前端的研发常常与用户界面（UI）密切相关。高质量的 UI 意味着优质的用户体验，但也对研发人员提出更高的要求，因此提升 UI 生产效率对产品迭代速度至关重要。

近些年 D2C 的呼声不绝于耳，各大公司都尝试过使用 AI 生成的方式来自动化编写 UI，但在都遇到了一些的瓶颈。而如今以 Figma 为代表的协同设计工具的发展再到大模型的视觉稿和代码自动生成，该技术领域逐渐经历着深刻变革。

在智能化和协同工作的大背景下，如何为快手的多种业务形态搭建高效的UI生产体系，成为了一个富有挑战性和价值的课题。本次演讲将从研发提升、设计提升及设计与研发沟通提升三个维度，分享我们在设计到研发全链路 UI 生产体系方面的探索与实践经验。

演讲提纲

1. UI 生产的挑战与机遇
2. 研发提效：面向研发的视觉稿交付平台

• 以研发视角重新设计视觉稿交付平台
• 构建通用的 D2C 插件生态
• 探索基于 AI 的对话式 UI 代码生成

3. 设计提效：面向设计师的辅助设计插件

• 基于研发设计通用协议的换肤工具
• 以设计为中心的 C2D
• 智能生成设计稿的探索

4. 设计与研发沟通提升：设计工程化与自动视觉走查

• 组件对齐协议与工具
• 自动可量化的还原度对比

5. 总结回顾

• 整体体系全景
• 技术架构
• 未来规划

实践痛点

• 为了提升转码环节的质量，对设计师制作设计稿有更高的要求
• 转码质量和手写代码项目还有一段距离

演讲亮点

• 通过合理的架构拆分构建了适用于多业务场景和前端框架的通用 D2C 平台
• 通过大模型 + 算法结合的方式提升了 D2C 代码还原度和可读性
• 通过统一研发设计底层协议，独立建设研发设计工具的方式实现了研发设计协同提效

听众收益

• 深入了解从设计到研发的全链路UI生产体系建设中的难点及解决方案
• 获取大模型在 UI 生产中应用的宝贵经验
• 通过本次演讲，期待能够为与会者提供切实可行的见解与启发，帮助他们在UI生产体系的构建中迈出坚实的一步

在过去的两年里，AI 技术取得了巨大的飞跃。从文生图领域的 Stable Diffusion 到基于大语言模型的 ChatGPT，这些突破让我们看到每个应用都有潜力被大模型重新定义。虽然前景光明，但相应的高成本也令许多公司和个人开发者望而却步。

本次演讲将围绕如何利用 WebNN 访问专有 AI 加速器，实现在本地终端上运行如 Stable Diffusion、Segment Anything、Whisper 等热门 AI 模型的体验，以及这些模型在性能优化方面的实践经验。通过这种方式，个人开发者和中小型研发团队也可以享受到 AI 浪潮带来的红利。

演讲提纲

1. 背景

• 基于 WebNN 的 Stable Diffusion 的效果展示
• Stable Diffusion 核心算子结构与介绍
• 如何通过 ML API 进行性能优化

2. WebNN API 在浏览器的架构设计

• WebNN 核心 API 介绍
• 基于 Chromium 的多进程架构设计

3. 基于 WebNN 运行 Hugging Face 知名模型

• 基于 WebNN 的 Stable Diffusion / Segment Anything / Whisper Base 模型运行实践
• 基于 CPU / GPU / NPU 的性能评测与对比

4. 在 Chrome 和 Edge 浏览器上的 WebNN 实践

• 通过 JavaScript ML Framewoek 实践 WebNN API
• 如何扩展支持更多的 Hugging Face 模型

实践痛点

• 如何通过 WebNN 实现在 Web 端接近原生的模型推理性能
• WebNN 对主流模型涉及算子的覆盖与兼容
• 如何使用 WebNN 进行模型推理性能优化

演讲亮点

• 可以了解如何在 Web 上推理及优化 AIGC 相关领域模型 

听众收益

• WebNN 为前端开发者带来了除了 Web Assembly 及 WebGPU 之外的新选择 
• 了解 WebNN 接口和使用 
• 了解 WebNN 的性能及优势 
• 在 Web 端实践这些 AIGC 领域模型