创新性3D场景编辑工具：DreamEditor

背景介绍

当前，研究领域正积极探索如何通过神经辐射场（NeRF）技术实现对三维场景的高效重建与新视角合成，这一过程相较于传统方法显著简化了现实世界物体与场景转化为3D图形资源的流程。然而，面对已捕获的NeRF场景进行编辑时，由于场景的几何与纹理信息嵌入在高维神经网络特征中，编辑操作往往显得复杂且不易实现。

方法概述

《DreamEditor：基于神经场的文本驱动3D场景编辑》一文，由中山大学HCP实验室与宾夕法尼亚大学Penn Computer Graphics Lab实验室合作发表，并已成功被SIGGRAPH Asia 2023接收。该论文提出了一种创新性的NeRF编辑框架——DreamEditor，旨在通过结合预训练的文本到图片扩散模型（stable diffusion），让用户能够借助文本提示对NeRF进行精确控制的编辑。

关键步骤

• Mesh-based的NeRF生成：通过输入的场景图像，训练原始NeRF模型，并将其转化为基于网格的表示，这一步骤为实现空间选择性编辑提供了基础。
• 编辑区域确定：利用扩散模型的注意力机制，自动识别出编辑所需的区域，确保编辑操作准确聚焦于所需对象。
• 优化编辑区域：采用DreamFusion提出的分数蒸馏采样损失（SDS Loss），在文本提示的引导下，优化网格内的特定区域，以达到与文本描述一致的编辑效果。

实验结果与应用

实验结果显示，DreamEditor能够在各种复杂场景中实现高效、精准的编辑操作，包括户外花园中马雕塑的替换为鹿或长颈鹿，以及局部细节如为狗佩戴太阳镜等。方法的生成结果在3D几何与纹理一致性方面表现出色，用户满意度高，特别是在与现有方法的对比中，DreamEditor获得了显著优势。

定位步骤的重要性

对比实验显示，DreamEditor的定位步骤对于精确编辑至关重要。无定位情况下，编辑操作可能导致无关区域的误编辑，破坏场景的一致性。而通过定位步骤确定编辑区域，仅优化感兴趣的区域，显著提高了编辑效果与效率。

用户反馈与视频展示

用户对DreamEditor的编辑效果给予了高度评价，投票结果显示其满意度超过81.1%，远超其他方法。此外，DreamEditor的编辑样例在相关视频中进行了展示，供有兴趣的用户进一步了解与参考。

HCP实验室简介