一种视点图像处理方法及相关设备技术

本发明专利技术实施例提供一种视点图像处理方法及相关设备，涉及人工智能/计算机视觉领域，该方法包括：获取预设个数第一视点图像；获取上述预设个数第一视点图像之间的几何特征矩阵；根据上述几何特征矩阵和待合成的第二视点图像的位置信息生成上述预设个数第一视点图像中每一个像素的自适应卷积核；其中，上述位置信息表征上述第二视点图像的视点位置；根据上述自适应卷积核和上述预设个数第一视点图像的像素生成上述预设个数待处理的虚拟合成像素矩阵；将上述预设个数待处理的虚拟合成像素矩阵合成上述第二视点图像。采用本发明专利技术实施例，能够提高上述第二视点图像合成的效率和质量。

【技术实现步骤摘要】
一种视点图像处理方法及相关设备
本专利技术涉及图像处理
，尤其涉及一种视点图像处理方法及相关设备。
技术介绍
多视点图像数据是一种用多个视频或图像采集设备获得的具有多个视角的图像或视频数据。比如在虚拟现实视频内容的拍摄中，可利用多个相机在不同位置拍摄视频，获得多视点图像数据，然后经过计算机进行图像处理得到虚拟视点图像，给用户营造虚拟现实视频体验。由于现有图像传感器像素或硬件成本的限制，现有的拍摄设备不能同时获得较高的空间分辨率(单个视点图像分辨率)和角度分辨率(视点图像数量)。因此，通过拍摄空间分辨率较高、视点图像较少的多视点图像数据，并利用视点图像合成技术合成虚拟视点图像，重建高空间分辨率的自由视点图像数据成为解决该问题的有效途径。现有技术中合成虚拟视点图像的方法中，例如如图1、图2和图3所示的方案。图1所示的方案，通过提取已有视点图像的深度信息作为卷积神经网络(convolutionalneuralnetworks，CNN)的训练特征，通过CNN预测合成虚拟视点图像。但是，由于该方案是基于已有视点图像的深度信息作为训练特征来合成虚拟视点图像，很难保证获取的深度信息的准确性，因此合成的虚拟视点图像的质量较差，另外，该方案每合成一个虚拟视点图像都需要重新提取已有视点图像的特征，然后运行整个合成网络，导致虚拟视点图像的合成效率较低。需要说明的是，上述已有视点图像是用视频或图像采集设备(例如相机、摄像机、图像传感器等)在空间中某个位置实际拍摄获取到的图像。具体的，视点图像又可以称为视点。此外，上述虚拟视点图像为未经过视频或图像采集设备的实际拍摄，而是依靠计算虚拟合成的图像。图2所示的方案，使用CNN和互相关来预测两个视点图像之间的光流，并通过光流信息来合成两个视点图像之间的虚拟视点图像。但是，该方案只能处理两个已有视点图像之间的虚拟视点图像合成问题，所合成的虚拟视点图像只能在两个虚拟视点图像之间的一维连线上；此外，该方案难以估计像素级别的光流信息，如果用到虚拟视点图像合成相关应用，将致使合成的虚拟视点图像的物体边缘部分质量较差。图3所示的方案，使用CNN和自适应卷积核来合成两个视点图像的中间视点图像。但是，该方案只能生成一维两个视点图像的中间视点图像，对于多个视点图像需要重复的运行CNN，合成效率较低。综上所述，如何在保证虚拟视点图像合成质量的情况下，提高合成的效率是本领域技术人员急需解决的技术问题。
技术实现思路
本申请实施例公开了一种视点图像处理方法及相关设备，能够提高合成的虚拟视点的质量，同时提高合成的效率。第一方面，本申请实施例公开了一种视点图像处理方法，该方法包括：获取至少两个第一视点图像，所述至少两个第一视点图像包括分别在所述至少两个视点位置采集到的图像；将所述至少两个第一视点图像和待合成的第二视点图像的位置信息输入虚拟视点合成网络；其中，所述虚拟视点合成网络为基于所述至少两个第一视点图像中每一个像素的自适应卷积核来合成所述第二视点图像的网络；所述位置信息表征所述第二视点图像的视点位置，所述第二视点图像在目标区域内，所述目标区域包括所述至少两个第一视点图像组成的区域；通过所述虚拟视点合成网络计算得到所述第二视点图像。上述第一视点图像可以是已有视点图像，上述第二视点图像可以是虚拟视点图像。需要说明的是，上述已有视点图像是用视频或图像采集设备(例如相机、摄像机、图像传感器等)在空间中某个位置实际拍摄获取到的图像。具体的，视点图像又可以称为视点。此外，上述虚拟视点图像为未经过视频或图像采集设备的实际拍摄，而是依靠计算虚拟合成的图像。针对上述图1、图2和图3所述的现有技术的问题，本专利技术针对需要合成的虚拟视点的位置信息，动态地产生目标虚拟视点的自适应卷积核，直接生成对应视点图像，解决了该多个已有视点图像之间任意位置的虚拟视点合成问题，并提高了虚拟视点的主观质量和合成效率。在其中一种可能的实施方式中，所述通过所述虚拟视点合成网络计算得到所述第二视点图像，包括：获取所述至少两个第一视点图像之间的几何特征矩阵，所述几何特征矩阵为用于表征所述至少两个第一视点图像的像素之间几何位置的关系信息的矩阵；根据所述几何特征矩阵和所述位置信息生成所述至少两个第一视点图像中每一个像素的自适应卷积核；根据所述自适应卷积核和所述至少两个第一视点图像的像素生成所述至少两个待处理的虚拟合成像素矩阵；将所述至少两个待处理的虚拟合成像素矩阵合成所述第二视点图像。在其中一种可能的实施方式中，所述获取所述至少两个第一视点图像之间的几何特征矩阵，包括：分别提取所述至少两个第一视点图像中的特征得到所述至少两个的特征矩阵；将所述至少两个的特征矩阵中的任意每两个特征矩阵都执行互相关运算得到一个或多个运算后的特征矩阵；在得到一个运算后的特征矩阵的情况下，将所述一个运算后的特征矩阵作为所述几何特征矩阵；在得到多个运算后的特征矩阵的情况下，根据所述多个运算后的特征矩阵计算得到所述几何特征矩阵。在本申请实施例中，将该多个已有视点图像中两两之间几何位置的关系信息统一为一个几何特征矩阵后，虚拟视点的合成就可以利用该几何特征矩阵中所有已有视点图像中的有效信息，实现更好的合成效果。在其中一种可能的实施方式中，所述获取所述至少两个第一视点图像之间的几何特征矩阵，包括：分别提取所述至少两个第一视点图像的像素得到所述至少两个的像素矩阵；将所述至少两个的像素矩阵组合成一个混合像素矩阵；将所述混合像素矩阵输入第一预设卷积神经网络模型得到所述几何特征矩阵。在其中一种可能的实施方式中，所述待合成的第二视点图像的位置信息为坐标值，所述根据所述几何特征矩阵和待合成的第二视点图像的位置信息生成所述至少两个第一视点图像中每一个像素的自适应卷积核，包括：将所述坐标值扩展为与所述几何特征矩阵的行数和列数相同的位置矩阵；将所述位置矩阵和所述几何特征矩阵组成一个混合信息矩阵；将所述混合信息矩阵分别输入所述至少两个的第二预设卷积神经网络模型中，所述至少两个的第二预设卷积神经网络模型结构相同，参数不同；根据所述至少两个的第二预设卷积神经网络模型的输出结果确定所述至少两个的第一视点图像中每一个像素的自适应卷积核。在本申请实施例中，通过自适应卷积核将现有技术中的像素插值和邻域像素采样统一起来，隐式地处理了遮挡问题，可以生成更高质量的虚拟视点。自适应卷积核能够根据待合成的视点图像的位置信息自动调整，可以根据需要合成相应的虚拟视点，提高了现有技术的灵活性。在其中一种可能的实施方式中，所述根据所述自适应卷积核和所述至少两个第一视点图像的像素生成所述至少两个待处理的虚拟合成像素矩阵，包括：将所述至少两个第一视点图像中的每一个像素的自适应卷积核与以所述每一个像素为中心的像素矩阵一一对应地做卷积，得到所述每一个像素的像素位置对应的虚拟合成像素；所述像素矩阵的行数与所述每一本文档来自技高网...

【技术保护点】
1.一种视点图像处理方法，其特征在于，包括：/n获取至少两个第一视点图像，所述至少两个第一视点图像包括分别在所述至少两个视点位置采集到的图像；/n将所述至少两个第一视点图像和待合成的第二视点图像的位置信息输入虚拟视点合成网络；其中，所述虚拟视点合成网络为基于所述至少两个第一视点图像中每一个像素的自适应卷积核来合成所述第二视点图像的网络；所述位置信息表征所述第二视点图像的视点位置，所述第二视点图像在目标区域内，所述目标区域包括所述至少两个第一视点图像组成的区域；/n通过所述虚拟视点合成网络计算得到所述第二视点图像。/n

【技术特征摘要】
1.一种视点图像处理方法，其特征在于，包括：
获取至少两个第一视点图像，所述至少两个第一视点图像包括分别在所述至少两个视点位置采集到的图像；
将所述至少两个第一视点图像和待合成的第二视点图像的位置信息输入虚拟视点合成网络；其中，所述虚拟视点合成网络为基于所述至少两个第一视点图像中每一个像素的自适应卷积核来合成所述第二视点图像的网络；所述位置信息表征所述第二视点图像的视点位置，所述第二视点图像在目标区域内，所述目标区域包括所述至少两个第一视点图像组成的区域；
通过所述虚拟视点合成网络计算得到所述第二视点图像。


2.根据权利要求1所述方法，其特征在于，所述通过所述虚拟视点合成网络计算得到所述第二视点图像，包括：
获取所述至少两个第一视点图像之间的几何特征矩阵，所述几何特征矩阵为用于表征所述至少两个第一视点图像的像素之间几何位置的关系信息的矩阵；
根据所述几何特征矩阵和所述位置信息生成所述至少两个第一视点图像中每一个像素的自适应卷积核；
根据所述自适应卷积核和所述至少两个第一视点图像的像素生成所述至少两个待处理的虚拟合成像素矩阵；
将所述至少两个待处理的虚拟合成像素矩阵合成所述第二视点图像。


3.根据权利要求2所述方法，其特征在于，所述获取所述至少两个第一视点图像之间的几何特征矩阵，包括：
分别提取所述至少两个第一视点图像中的特征得到所述至少两个的特征矩阵；
将所述至少两个的特征矩阵中的任意每两个特征矩阵都执行互相关运算得到一个或多个运算后的特征矩阵；
在得到一个运算后的特征矩阵的情况下，将所述一个运算后的特征矩阵作为所述几何特征矩阵；在得到多个运算后的特征矩阵的情况下，根据所述多个运算后的特征矩阵计算得到所述几何特征矩阵。


4.根据权利要求2所述方法，其特征在于，所述获取所述至少两个第一视点图像之间的几何特征矩阵，包括：
分别提取所述至少两个第一视点图像的像素得到所述至少两个的像素矩阵；
将所述至少两个的像素矩阵组合成一个混合像素矩阵；
将所述混合像素矩阵输入第一预设卷积神经网络模型得到所述几何特征矩阵。


5.根据权利要求2至4任一项所述方法，其特征在于，所述待合成的第二视点图像的位置信息为坐标值，所述根据所述几何特征矩阵和待合成的第二视点图像的位置信息生成所述至少两个第一视点图像中每一个像素的自适应卷积核，包括：
将所述坐标值扩展为与所述几何特征矩阵的行数和列数相同的位置矩阵；
将所述位置矩阵和所述几何特征矩阵组成一个混合信息矩阵；
将所述混合信息矩阵分别输入所述至少两个的第二预设卷积神经网络模型中，所述至少两个的第二预设卷积神经网络模型结构相同，参数不同；
根据所述至少两个的第二预设卷积神经网络模型的输出结果确定所述至少两个的第一视点图像中每一个像素的自适应卷积核。


6.根据权利要求2至5任一项所述方法，其特征在于，所述根据所述自适应卷积核和所述至少两个第一视点图像的像素生成所述至少两个待处理的虚拟合成像素矩阵，包括：
将所述至少两个第一视点图像中的每一个像素的自适应卷积核与以所述每一个像素为中心的像素矩阵一一对应地做卷积，得到所述每一个像素的像素位置对应的虚拟合成像素；所述像素矩阵的行数与所述每一个像素的自适应卷积核的行数相同，所述像素矩阵的列数与所述每一个像素的自适应卷积核的列数相同；
将得到的所述虚拟合成像素组成所述至少两个的虚拟合成像素矩阵。


7.一种视点图像处理设备，其特征在于，包括处理器、收发器和存储器，其中，所述存储器用于存储计算机程序和/或数据，所述处理器用于执行所述存储器中存储的计算机程序，使得所述设备执行如下操作：
获取至少两个第一视点图像，所述至少两个第一视点图像包括分别在所述至少两个视点位置采集到的图像；
将所述至少两个第一视点图像和待合成的第二视点图像的位置信息输入虚拟视点合成网络；其中，所述虚拟视点合成网络为基于所述至少两个第一视点图像中每一个像素的自适应卷积核来合成所述第二视点图像的网络；所述位置信息表征所述第二视点图像的视点位置，所述第二视点图像在目标区域内，所述目标区域包括所述至少两个第一视点图像组成的区域；
通过所述虚拟视点合成网络计算得到所述第二视点图像。


8.根据权利要求7所述设备，其特征在于，所述通过所述虚拟视点合成网络计算得到所述第二视点图像，包括：
获取所述至少两个第一视点图像之间的几何特征矩阵，所述几何特征矩阵为用于表征所述至少两个第一视点图像的像素之间几何位置的关系信息的矩阵；
根据所述几何特征矩阵和所述位置信息生成所述至少两个第一视点图像中每一个像素的自适应卷积核；
根据所述自适应卷积核和所述至少两个第一视点图像的像素生成所述至少两个待处理的虚拟合成像素矩阵；
将所述至少两个待处理的虚拟合成像素矩阵合成所述第二视点图像。


9.根据权利要求8所述设备，其特征在于，所述获取所述至少两个第一视点图像之间的几何特征矩阵，包括：
分别提取所述至少两个第一视点图像中的特征得到所述至少两个的特征矩阵；
将所述至少两个的特征矩阵中的任意每两个特征矩阵都执行互相关运算得到一个或多个运算后的特征矩阵；
在得到一个运算后的特征矩阵的情况下，将所述一个运算后的特征矩阵作为所述几何特征矩阵；在得到多个运算后的特征矩阵的情况下，根据所述多个运算后的特征矩阵计算得到所述几何特征矩阵。


10.根据权利要求8所述设备，其特征在于，所述获取所述至...

【专利技术属性】
技术研发人员：宋翼，邸佩云，向维，韩康，王冰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44