数据处理方法和装置、电子设备和计算机存储介质制造方法及图纸

本申请实施例公开了一种数据处理方法和装置、电子设备和计算机存储介质，其中，方法包括：跟据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据，其中，所述多维度匹配代价数据是基于至少二种方式确定的匹配代价数据得到的；基于所述多维度匹配代价数据，生成所述至少二个视图图像的视差图。本申请实施例可以增强相关性的表达能力，提高双目立体匹配的精度。

【技术实现步骤摘要】
数据处理方法和装置、电子设备和计算机存储介质
本申请涉及计算机视觉技术，尤其是一种数据处理方法和装置、电子设备和计算机存储介质。
技术介绍
双目立体匹配是计算机视觉技术一个非常热门的研究领域，在深度估计、身份认证、图像虚化和三维重建等领域应用非常广泛。双目立体匹配通常是以左右视图的匹配代价计算作为基础得到最后的视差图，其中，匹配代价计算主要是用来确定左右视图中匹配像素与待匹配像素之间的相关性，因此匹配代价计算的结果将影响双目立体匹配的精度。然而，现有的匹配代价计算方式难以全面反映匹配像素与待匹配像素之间的相关性，相关性的表达能力不足，使得双目立体匹配的精度的提高受到限制。
技术实现思路
本申请实施例提供一种数据处理的技术方案。根据本申请实施例的一个方面，提供一种数据处理方法，包括：根据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据，其中，所述多维度匹配代价数据是基于至少二种方式确定的匹配代价数据得到的；基于所述多维度匹配代价数据，生成所述至再少二个视图图像的视差图。可选地，在本申请上述方法实施例中，所述根据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据，包括：对所述至少二个视图图像进行处理，得到其中每个视图图像的特征数据；根据所述至少二个视图图像的特征数据，得到所述多维度匹配代价数据。可选地，在本申请上述任一方法实施例中，所述根据所述至少二个视图图像的特征数据，得到所述多维度匹配代价数据，包括：根据所述至少二个视图图像的特征数据，分别通过至少二种方式确定对应的匹配代价数据，得到不同维度的匹配代价数据；对所述不同维度的匹配代价数据进行融合，得到所述多维度匹配代价数据。可选地，在本申请上述任一方法实施例中，所述对所述不同维度的匹配代价数据进行融合，得到所述多维度匹配代价数据之前，还包括：基于每个像素的邻域中的像素的相关性，对所述不同维度的匹配代价数据中的每一维度的匹配代价数据进行整合；所述对所述不同维度的匹配代价数据进行融合，得到所述多维度匹配代价数据，包括：对所述整合后的不同维度的匹配代价数据价进行融合，得到所述多维度匹配代价数据。可选地，在本申请上述任一方法实施例中，所述基于每个像素的邻域中的像素的相关性，对所述不同维度的匹配代价数据中的每一维度的匹配代价数据进行整合，包括：通过多分支神经网络中的各分支分别对所述不同维度的匹配代价数据中的每一维度的匹配代价数据进行整合。可选地，在本申请上述任一方法实施例中，所述对所述不同维度的匹配代价数据进行融合，得到所述多维度匹配代价数据，包括：对所述不同维度的匹配代价数据基于通道进行叠加，得到所述多维度匹配代价数据。可选地，在本申请上述任一方法实施例中，所述对所述至少二个视图图像进行处理，得到其中每个视图图像的特征数据，包括：通过第一神经网络分别对所述至少二个视图图像进行处理，得到其中每个视图图像的特征数据。可选地，在本申请上述任一方法实施例中，所述基于所述多维度匹配代价数据，生成所述至少二个视图图像的视差图，包括：基于所述多维度匹配代价数据，通过第二神经网络生成所述至少二个视图图像的视差图。可选地，在本申请上述任一方法实施例中，所述根据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据之前，还包括：采集所述关于同一场景不同视角的至少二个视图图像。可选地，在本申请上述任一方法实施例中，所述关于同一场景不同视角的至少二个视图图像包括：左视图图像和右视图图像，或，上视图图像和下视图图像。可选地，在本申请上述任一方法实施例中，确定匹配代价数据的方式包括基于滑窗结合的方式、二阶点乘方式、一维相关系数方式和神经网络方式中的至少二种。根据本申请实施例的另一个方面，提供一种数据处理装置，包括：匹配代价计算模块，用于根据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据，其中，所述多维度匹配代价数据是基于至少二种方式确定的匹配代价数据得到的；视差图生成模块，用于基于所述多维度匹配代价数据，生成所述至再少二个视图图像的视差图。可选地，在本申请上述装置实施例中，所述匹配代价计算模块包括：特征数据获取单元，用于对所述至少二个视图图像进行处理，得到其中每个视图图像的特征数据；匹配代价计算单元，用于根据所述至少二个视图图像的特征数据，得到所述多维度匹配代价数据。可选地，在本申请上述任一装置实施例中，所述匹配代价计算单元包括：匹配代价计算子单元，用于根据所述至少二个视图图像的特征数据，分别通过至少二种方式确定对应的匹配代价数据，得到不同维度的匹配代价数据；匹配代价融合子单元，用于对所述不同维度的匹配代价数据进行融合，得到所述多维度匹配代价数据。可选地，在本申请上述任一装置实施例中，还包括：匹配代价整合子单元，用于基于每个像素的邻域中的像素的相关性，对所述不同维度的匹配代价数据中的每一维度的匹配代价数据进行整合；所述匹配代价融合子单元，用于对所述整合后的不同维度的匹配代价数据价进行融合，得到所述多维度匹配代价数据。可选地，在本申请上述任一装置实施例中，所述匹配代价整合子单元，用于通过多分支神经网络中的各分支分别对所述不同维度的匹配代价数据中的每一维度的匹配代价数据进行整合。可选地，在本申请上述任一装置实施例中，所述匹配代价融合子单元，用于对所述不同维度的匹配代价数据基于通道进行叠加，得到所述多维度匹配代价数据。可选地，在本申请上述任一装置实施例中，所述特征数据获取单元，用于通过第一神经网络分别对所述至少二个视图图像进行处理，得到其中每个视图图像的特征数据。可选地，在本申请上述任一装置实施例中，所述视差图生成模块，用于基于所述多维度匹配代价数据，通过第二神经网络生成所述至少二个视图图像的视差图。可选地，在本申请上述任一装置实施例中，还包括：至少二个图像采集模块，用于分别采集所述关于同一场景不同视角的至少二个视图图像。可选地，在本申请上述任一装置实施例中，所述关于同一场景不同视角的至少二个视图图像包括：左视图图像和右视图图像，或，上视图图像和下视图图像。可选地，在本申请上述任一装置实施例中，确定匹配代价数据的方式包括基于滑窗结合的方式、二阶点乘方式、一维相关系数方式和神经网络方式中的至少二种。根据本申请实施例的再一个方面，提供的一种电子设备，包括上述任一实施例所述的装置。根据本申请实施例的再一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于执行所述可执行指令从而完成上述任一实施例所述的方法。根据本申请实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例所述方法的指令。根据本申请实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读指令，所述指令被执行时实现上述任一实施例所述的方法。基于本申请上述实施例提供的数据处理方法和装置、电子设备和计算机存储介质，通过根据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据，并基于多维度匹配代价数据，生成至少二个视图图像的视差图，利用由基于至少二种方式确定的匹配代价数据得到的多维度匹配代价数据，可以更加全面的反映至少二个视图图像本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：根据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据，其中，所述多维度匹配代价数据是基于至少二种方式确定的匹配代价数据得到的；基于所述多维度匹配代价数据，生成所述至再少二个视图图像的视差图。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据，其中，所述多维度匹配代价数据是基于至少二种方式确定的匹配代价数据得到的；基于所述多维度匹配代价数据，生成所述至再少二个视图图像的视差图。2.根据权利要求1所述的方法，其特征在于，所述根据关于同一场景不同视角的至少二个视图图像，确定对应的多维度匹配代价数据，包括：对所述至少二个视图图像进行处理，得到其中每个视图图像的特征数据；根据所述至少二个视图图像的特征数据，得到所述多维度匹配代价数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述至少二个视图图像的特征数据，得到所述多维度匹配代价数据，包括：根据所述至少二个视图图像的特征数据，分别通过至少二种方式确定对应的匹配代价数据，得到不同维度的匹配代价数据；对所述不同维度的匹配代价数据进行融合，得到所述多维度匹配代价数据。4.根据权利要求3所述的方法，其特征在于，所述对所述不同维度的匹配代价数据进行融合，得到所述多维度匹配代价数据之前，还包括：基于每个像素的邻域中的像素的相关性，对所述不同维度的匹配代价数据中的每一维度的匹配代价数据进行整合；所述对所述不同维度的匹配代价数据进行融合，得到所述多维度匹配代价数据...

【专利技术属性】
技术研发人员：杨武魁，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11