专题演讲嘉宾：彭君然 博士

空间智能旨在让机器理解、生成与利用三维空间中的结构、物体与物理属性，是数字孪生、具身智能与自动驾驶等应用的基础。若仅依赖人工建模或单一数据源，难以在规模与真实性上同时满足“可仿真、可交互”的需求。我们期望实现的完备空间智能，应包含对空间结构、物体、关系及物理属性（几何、材质等）的完整刻画与利用方式。空间智能与 3D/4D 世界模型一脉相承，其在内容创作、智驾仿真与具身智能等方面具有广阔前景；我们围绕完备空间智能应包含的信息与利用方式，从生成与重建两条路径进行了探索：生成方法面向大规模、大尺度的泛化以及场景数量级的扩充，通过程序化内容生成（PCG）与 Agent 从语义/图像出发批量搭建场景；重建方法则面向对现实世界的精细复刻，将真实场景抽象为具备几何与材质物理属性的数字孪生。两条路线应对的应用场景不同，但都旨在得到完备的空间智能数据表现形式，为仿真与决策提供可靠环境。本次演讲将围绕“什么是空间智能、如何构建、完备空间智能应包含哪些知识与信息利用方式”展开，重点分享在生成与重建两条路径上的技术选型、代表性工作与实践中的经验与局限。

演讲提纲

1. 空间智能：定义、目标与两条技术路线

• 空间智能的内涵：空间结构、物体、关系与物理属性（几何、材质）的理解与利用
• 完备空间智能应包含的知识与信息利用方式（几何、材质、功能、操作、关系等）
• 为何需要两条路径：生成满足“规模与多样性”，重建满足“真实世界一致性”
• 总体框架：生成方法（PCG + Agent） vs 重建方法（几何 + 材质）

2. 生成方法：从语义/图像到可交互场景

• 要解决的问题：如何从高层语义（文字/参考图）批量化、多样化地搭建室内外场景
• 解决思路：以功能性物体与结构的摆放逻辑为核心，用 PCG 生成多层级建筑与室内外结构
• 代表工作与管线：
  • SceneX / CityX：基于 PCG 的室内外多层级场景生成与搭建逻辑
  • MarketGen：首个可扩展的具身超市场景仿真平台；Agent + PCG 管线，从文字或参考图生成高保真复杂超市场景
• 信息利用方式：从自然语言或二维图片提取物体属性、物体间关系及操作方式，体现“从生成角度构造空间智能”的一种方式

3. 重建方法：从真实世界到可仿真的数字孪生

• 要解决的问题：如何把真实场景抽象为具备正确几何与材质物理属性的数字孪生，以支持碰撞、摩擦、光照等仿真与交互
• 解决思路：分拆为表面材质与几何结构两条子线，再在场景级融合
• 材质属性刻画：
  • 需求：摩擦力、光反射率等交互属性，决定仿真中的交互反馈
  • MaterialSeg3D：单物体表面材质；12 个实例类别、30+ 材质类别数据集；为文生3D/图生3D 资产提供表面材质预测，保证仿真交互真实性
  • SceneMaterial：城市场景下路面与建筑表面材质生成，支撑智驾仿真等大型城市场景
• 几何结构重建：
  • 需求：正确碰撞体与平面拓扑，以支持放置、拖拽、平移等平面交互。
  • GSPlane：基于高斯溅射 + 二维平面先验，重建室内外大小平面结构及绝对平滑的平面拓扑；可将承载平面（桌面、地面）上的物体拆分为独立个体，在仿真中可移动与交互
• 与现有方法对比：稠密三角网格易产生错误平面拓扑，无法支持仿真中的放置与拖拽；GSPlane 的平面拓扑可直接支持上述交互

4. 实践过程与经验未来发展前景

• 生成侧：数据与逻辑（物体摆放、功能约束）的平衡；Agent + PCG 管线的可扩展性与控制粒度
• 重建侧：结构化几何的获取；正确拓扑对仿真交互的关键作用；从单物体到城市场景的泛化

5. 未来发展前景

• 共同经验：生成与重建在未来会融合（如用生成补全重建缺失、用重建约束生成真实性）
• 生成与重建的融合、多模态（文字/图像/点云）统一建模、与具身智能/智驾仿真的深度结合
• 4D 世界模型是空间智能的演进形态，在内容创作、智驾仿真与具身智能中潜力巨大。NeoVerse 直接利用海量单目视频进行大规模训练，通过重建-生成混合与免姿态前馈 4D 重建，推动 4D 空间智能从实验室走向数据驱动，成为通用 4D 世界模型底座

您认为，这样的技术在实践过程中有哪些痛点？

• 生成场景的物理与几何一致性如何与下游仿真（碰撞、材质）对齐
• 重建中平面拓扑与物体分割的自动化与鲁棒性（复杂遮挡、弱纹理）
• 材质与几何数据的标注成本与跨场景泛化（如从室内到城市场景）
• 大规模城市场景的生成/重建效率与存储、渲染、仿真的工程化

演讲亮点

• 双路线框架：不局限于单一技术路线，从生成与重建两条路径系统阐述空间智能的构建方式，为“何时用生成、何时用重建”提供清晰的选型依据
• 问题驱动叙事：围绕问题—解决思路—实践过程—经验教训组织内容，避免技术平铺，突出可落地的技术决策与权衡逻辑
• 技术深挖：选取平面拓扑与仿真交互、材质物理属性等 1–2 个关键点深入剖析，揭示“可仿真、可交互”背后的几何与物理约束，具有直接落地参考价值
• 演进视野：从 3D 到 4D 世界模型的技术脉络切入，结合 NeoVerse 等前沿工作，点明空间智能从静态到动态、从实验室到大规模数据驱动的演进方向

听众收益

• 方法指引：掌握从空间智能定义、到生成/重建双路线选型、再到代表性工作的完整技术视野与实施思路
• 避坑指南：通过对几何拓扑与材质物理属性的剖析，理解为何错误平面拓扑会导致仿真中无法支持放置与拖拽，提前规避“只重外观、忽视交互属性”的常见陷阱
• 行业前瞻：理解在数字孪生与具身/智驾仿真场景下，生成与重建的分工与融合；把握从 3D 到 4D 世界模型的演进趋势，形成对完备空间智能及其数据表现形式的整体认知