(映维网Nweon 2022年05月31日)当前的虚拟现实(VR)头显在混合现实(MR)透视功能方面存在诸多限制,用户体验不尽人意。此外,现有的技术方案通常需要多个摄像头,这不仅增加了设备的重量,还提升了成本和能耗。面对这一挑战,行业正在探索多种解决方案。
微软在一项名为“利用机器学习选择性叠加图像内容”的专利申请中提出了一种创新方法。该方法利用机器学习技术,能够从一个图像中选择性地提取部分内容,并将其与另一个图像合并,从而生成质量更高的透视合成图像。
系统首先访问具有第一样式的图像,然后访问具有第二样式的另一图像。通过深度神经网络(DNN)的学习,第一图像的副本被输入到DNN中,DNN将第一图像副本从第一样式转换为第二样式,从而使转换后的图像与目标样式相匹配。
在具体操作中,系统访问由不同摄像头生成的多张图像,分别具有不同的样式。DNN通过对这些图像进行样式学习后,可以将图像副本从一种样式转换为另一种样式。这样,系统就可以从一张图像中提取某些部分,并将其与另一张图像结合,生成高质量的合成图像。
为了实现这一点,DNN需要识别和处理图像中的几何、纹理、轮廓、内容和特征点等信息。通过这种方式,DNN能够更准确地将图像的一部分从一种样式转换为另一种样式,最终生成融合多种样式的合成图像。
此外,专利还详细描述了如何通过视差校正等技术,确保不同图像在视觉上的一致性。例如,通过识别图像中的特征点,并对图像进行适当的拉伸、收缩、倾斜、旋转和平移等操作,可以将图像中的选定部分准确地叠加到另一图像上,从而生成高质量的合成图像。
这种方法不仅可以改善VR头显的透视效果,还可以拓展其应用场景,提供更加丰富和真实的用户体验。