随着音视频技术在 Web 浏览器中的成熟,浏览器所驱动的性能足以处理更复杂的任务。本次演讲将介绍在字节 - 智能创作团队是如何解决音视频领域的技术问题,建设灵活的工具架构,应对设计师、用户多样的创作工具的诉求,包括轨道编辑器、图文卡片模版、视频混剪工具等热门应用编辑体验。以及 AIGC 创作热潮下,前端程序员的技术成长路径。
演讲提纲:
1. 背景与趋势
- Web 浏览器中的底层能力提升,WASM、IndexedDB、WebCodec、WebGL,、WebGPU 等,如何支撑音视频技演进
- 在智能创作覆盖的业务中,如何为不同背景的使用者,提供不同的工具形态
2. 编辑工具应用案例
- 图文转视频工具,如何帮助文字工作者产出章节视频
- 卡片模版工具 for PPT工作者,并提供贴纸、文字、动画、数字人等多种表现形式
- 视频混剪工具 for 视频运营者,产出不同风格和排序的批量视频
- 轨道编辑器和 WebSDK for 视频剪辑师,并提供桌面级体验
3. 工具族背后的系统设计
- 基于事务和多粒度封装的整体工具系统架构,以支撑不同工具形态
- 基于JS友好的特效渲染引擎,打通现有模版生态和制作工具
- 端上组合的艺术,智能混剪和分组算法设计
4. 总结和展望
- 通过模块化拆分,能力库性能,和再组装能力提供形态多样的工具
- 从 Web 音视频到 Web 多媒体,多种技术和 AI 的综合使用,可以做到的事情
- AIGC 创作工具的跨脚本语言的范式迁移,从 JavaScript 到 Python
听众收益:
- 了解字节在该方向的实践及未来的探索
- 音视频编辑工具的最佳实践和思考过程
方案痛点:
- 浏览器能力层性能优化标准,如何于 PC 端对齐
- 大文件,多片段,复杂协议带来的工具初始化和运行时技术挑战