摘要

李飞飞教授团队最新发布了一款突破性的AI技术——Wild2Avatar，这款模型在面对被遮挡情况下的单目视频时，能够精确渲染出具有完整几何形状和高保真度的人体图像，为AR/VR、电影制作以及医疗领域提供了全新的可能性。

背景与现状

当前，AR/VR、电影产业以及医疗行业广泛依赖于视频渲染技术来呈现人类形象。然而，传统的渲染方法多聚焦于理想化的实验环境，即场景中几乎不存在障碍物，且人体在每一帧中都能完全展现。现实世界中的复杂情况，包括多个障碍物的存在以及人体移动导致的遮挡，对现有方法构成了挑战。多数神经渲染技术在处理这类现实场景时面临遮挡难题，主要原因在于缺乏有效的监督数据，使得模型难以准确推断人体的外观、形状和姿态。

创新解决方案

针对上述问题，李飞飞教授团队设计并实现了Wild2Avatar模型，专门应对有遮挡情况下的野外单目视频渲染。该模型的核心创新在于遮挡感知场景参数化，将场景分解为遮挡、人体和背景三个独立部分，分别进行渲染。通过引入倒球参数化和额外的内球概念，模型能够明确区分遮挡区域，实现对遮挡与非遮挡部分的有效分离。为确保高保真度和完整的人体渲染，研究者设计了一系列优化目标，包括像素光度损失、场景分解损失、遮挡解耦损失和几何完整性损失。

实验与成果

研究团队在OcMotion数据集和真实世界视频中验证了Wild2Avatar的效能。在对比实验中，Wild2Avatar在可见部分的渲染性能与竞品相当，但在人体几何形状和遮挡部分的渲染质量上展现出显著优势。与最近发布的遮挡人体渲染软件OccNeRF相比，Wild2Avatar在恢复被遮挡人体方面更为精确，减少了扭曲和伪影现象。

技术细节

• 场景自分解：通过倒球参数化定义第一个球，引入内球概念，将从摄像机到内球边缘的区域划分为遮挡区域，实现遮挡与场景其他部分的分离。
• 优化目标组合：采用多种损失函数组合，确保人体几何形态与预先设定的SMPL网格保持一致，避免错误姿态的渲染。

评估与比较

• 量化结果：在OcMotion数据集和真实世界视频上的测试显示，Wild2Avatar在渲染质量和几何形状恢复上优于竞品。
• 与OccNeRF比较：通过公平训练比较，Wild2Avatar在恢复被遮挡人体时表现更佳，避免了OccNeRF常见的浮游物和伪影问题。

结论

Wild2Avatar的发布标志着AI技术在处理复杂遮挡情况下的人体渲染领域取得重要突破，为相关行业提供了更高效、准确的解决方案。未来，随着技术的进一步优化与应用，Wild2Avatar有望在增强现实、虚拟现实、电影特效以及医疗模拟等多个领域发挥关键作用。