相机视图之间的鲁棒虚拟视图生成的方法和系统技术方案

本公开涉及相机视图之间的鲁棒虚拟视图生成的方法和系统。论述了与从已知输入图像的位置之间的位置生成场景的虚拟视图以呈现给观看者有关的技术。这种技术包括应用基于梯度的孔洞填充插补。

【技术实现步骤摘要】
相机视图之间的鲁棒虚拟视图生成的方法和系统
本公开一般涉及机器视觉领域，更具体地涉及相机视图之间的鲁棒虚拟视图生成的方法和系统。
技术介绍
诸如两个或更多个对齐的相机之类的相机阵列正在诸如平板设备、智能电话、膝上型电脑、显示设备、网真系统、电影摄制和视频制作系统等等之类的多种设备实现中变得越来越常见。在由这种相机阵列生成的观看体验的情境中，相机位置之间的中间虚拟视图被生成并被提供给用户以供显示。高效地并且以最低限度的视觉伪像在捕捉的相机视图之间的位置处渲染逼真的虚拟图像，是持续的目标。用于从多个相机图像渲染虚拟视图的当前技术包括从图像对场景进行体积性3D重建和使用3D图形渲染技术来渲染虚拟视图。然而，3D重建在计算上是昂贵且容易出错的，导致了渲染的图像中的视觉伪像。基于图像的渲染(image-basedrendering，IBR)技术避免了3D几何结构的显式重建，而是改为直接从捕捉的图像渲染虚拟视图。例如，IBR插值可使用两个图像和其像素对应图来将图像变形到期望的位置。然而，IBR技术经常具有多噪声的像差图(disparitymap)以本文档来自技高网...

【技术保护点】
1.一种用于生成场景的虚拟视图图像的设备，包括：/n存储器，用于存储分别与同一场景的第一视图位置和第二视图位置相对应的第一输入图像和第二输入图像；以及/n耦合到所述存储器的处理器，所述处理器被布置为通过以下方式来操作：/n通过合并与所述第一输入图像和第二输入图像相关联的变形图像来生成所述第一视图位置和第二视图位置之间的目标虚拟视图的合并图像；并且/n在通过使用所述合并图像生成的目标虚拟视图处填充虚拟视图图像上的孔洞，并且包括求解对以下两项做出比较的能量等式：(1)在所述等式中都未知的最终插补当前像素值和最终插补相邻像素值之间的差异，以及(2)当在所述合并图像上的与正被计算的所述最终插补当前像素...

【技术特征摘要】
20190618 US 16/445,0661.一种用于生成场景的虚拟视图图像的设备，包括：
存储器，用于存储分别与同一场景的第一视图位置和第二视图位置相对应的第一输入图像和第二输入图像；以及
耦合到所述存储器的处理器，所述处理器被布置为通过以下方式来操作：
通过合并与所述第一输入图像和第二输入图像相关联的变形图像来生成所述第一视图位置和第二视图位置之间的目标虚拟视图的合并图像；并且
在通过使用所述合并图像生成的目标虚拟视图处填充虚拟视图图像上的孔洞，并且包括求解对以下两项做出比较的能量等式：(1)在所述等式中都未知的最终插补当前像素值和最终插补相邻像素值之间的差异，以及(2)当在所述合并图像上的与正被计算的所述最终插补当前像素值相对应的当前像素位置处不存在图像数据时，通过使用所述变形图像的图像值和至少一个插补权重生成的梯度。


2.如权利要求1所述的设备，其中，所述处理器被布置为通过以下方式来操作：在所述合并图像在所述当前像素位置处具有图像数据时使用所述能量等式将插补图像数据放置在所述虚拟视图图像上，并且其中，所述能量等式的梯度与在所述合并图像在所述当前像素位置处不具有图像数据时计算的梯度相比是以不同方式生成的。


3.如权利要求1所述的设备，其中，所述处理器被布置为通过以下方式来操作：生成指示出所述第一输入图像和第二输入图像之间的图像数据的像素位置的差异的一个或多个初始像差图；并且形成所述合并图像包括使用置信值，所述置信值指示出所述初始像差图中的至少一者的准确性。


4.如权利要求3所述的设备，其中，所述置信值指示出以下两项之间的差异：(1)所述第一输入图像或第二输入图像上的像素位置处的图像数据，以及(2)通过将所述初始像差图的像差添加到所述第一输入图像或第二输入图像的图像数据而形成的重投影的第一图像或第二图像上的同一像素位置的图像数据。


5.如权利要求3所述的设备，其中所述置信值被用于确定所述合并图像的像素位置是应当具有所述变形图像之一的图像值，还是没有图像数据。


6.如权利要求3所述的设备，其中，即使当所述变形图像之一具有能够被放置到所述合并图像中的像素位置的像素图像数据时，低置信值在该像素位置处也不向所述合并图像提供图像数据。


7.如权利要求3所述的设备，其中，所述置信值对于低置信是0并且对于高置信是1。


8.如权利要求3所述的设备，其中，所述处理器被布置为通过生成所述变形图像来操作，包括使用所述第一输入图像和第二输入图像之一上的像素图像数据位置和所述目标虚拟视图处的像素位置之间的差异的目标像差图。


9.如权利要求8所述的设备，其中，所述目标像差图是通过使用所述初始像差图来形成的。


10.如权利要求1所述的设备，其中，所述能量等式具有梯度能量项，该梯度能量项至少部分地基于泊松图像编辑并且在最小化所述能量等式的同时被迭代地求解以计算所述最终插补当前像素值。


11.如权利要求1所述的设备，其中，所述处理器被布置为通过维持时间相干性来操作，包括为所述第一输入图像和第二输入图像生成一个或多个运动图，所述一个或多个运动图指示出沿着视频序列从一帧到另一帧的图像数据的运动，其中所述帧之一是所述第一输入图像或第二输入图像；修改指示出所述第一输入图像和第二输入图像之间的图像数据的像素位置之间的差异的初始像差图，并且依据所述运动图来进行修改；并且使用所述初始像差图来形成所述变形图像和指示出所述初始像差图的准确性并且用于形成所述合并图像的置信值中的至少一者。


12.如权利要求1所述的设备，其中，所述处理器被布置为通过以下方式来操作：利用所述第一图像和第二图像的全分辨率版本来生成全分辨率合并图像；利用所述第一图像和第二图像的缩减版本和缩减的变形图像来生成缩减的合并图像；利用所述缩减的合并图像和所述缩减的变形图像和所述能量等式来形成缩减的虚拟图像；并且使用所述缩减的虚拟图像的图像数据来填充利用所述全分辨率合并图像生成的全分辨率虚拟图像上的孔洞。


13.一种生成场景的虚拟视图图像的计算机实现的方法，包括：
获得分别与同一场景的第一视图位置和第二视图位置相对应的第一输入图像和第二输入图像的图像数据；
生成指示出所述第一输入图...

【专利技术属性】
技术研发人员：张帆，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US