图像数据的处理方法和装置制造方法及图纸

本公开实施例公开了一种图像数据的处理方法和装置，其中，该处理方法包括：利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵；根据所述单应性矩阵，确定第一图像特征的映射图像特征；对所述映射图像特征和所述第二图像特征进行融合，得到融合图像特征；利用第二神经网络对所述融合图像特征进行处理，得到所述第二图像的第一像素高深比。本公开实施例可以得到稠密且准确的像素高深比，进而可以辅助进行3D场景建模。而可以辅助进行3D场景建模。而可以辅助进行3D场景建模。

【技术实现步骤摘要】
图像数据的处理方法和装置


[0001]本公开涉及图像处理
，尤其是一种图像数据的处理方法和装置。

技术介绍

[0002]平面视差方法基于两个视角观测同一目标或场景的差异来建模3D场景，该方法依赖于某个特定平面，可以恢复场景中一个像素点到平面的高度和到观测点的距离，即该像素点的像素高深比。
[0003]目前的平面视差方法依赖于光流估计得到两个视角下对应点的匹配结果。光流方法不能得到稠密的估计结果并且受噪声影响大。如何基于图像数据得到稠密且准确的像素高深比，是一个亟待解决的问题。

技术实现思路

[0004]为了解决上述技术问题，提出了本公开。
[0005]根据本公开实施例的第一方面，提供了一种图像数据的处理方法，包括：
[0006]利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵，其中，所述第一图像为第一时刻拍摄，所述第二图像为第二时刻拍摄，且所述第一图像和所述第二图像具有相同区域的路面元素；
[0007]根据所述单应性矩阵，确定第一图像特征的映射图像特征，其中，所述第一图像特征为基于所述第一图像提取的特征；
[0008]对所述映射图像特征和所述第二图像特征进行融合，得到融合图像特征，其中，所述第二图像特征为基于所述第二图像提取的特征；
[0009]利用第二神经网络对所述融合图像特征进行处理，得到所述第二图像的第一像素高深比。
[0010]根据本公开实施例的第二方面，提供了一种图像数据的处理装置，包括：
[0011]单应性矩阵确定模块，用于利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵，其中，所述第一图像为第一时刻拍摄，所述第二图像为第二时刻拍摄，且所述第一图像和所述第二图像具有相同区域的路面元素；
[0012]映射图像特征确定模块，用于根据所述单应性矩阵，确定第一图像特征的映射图像特征，其中，所述第一图像特征为基于所述第一图像提取的特征；
[0013]融合模块，用于对所述映射图像特征和所述第二图像特征进行融合，得到融合图像特征，其中，所述第二图像特征为基于所述第二图像提取的特征；
[0014]第一像素高深比确定模块，用于利用第二神经网络对所述融合图像特征进行处理，得到所述第二图像的第一像素高深比。
[0015]根据本公开实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面所述的图像数据的处理方法。
[0016]根据本公开实施例的第四方面，提供了一种电子设备，所述电子设备包括：
[0017]处理器；
[0018]用于存储所述处理器可执行指令的存储器；
[0019]所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述第一方面所述的图像数据的处理方法。
[0020]基于本公开上述实施例提供的图像数据的处理方法和装置，利用第一神经网络对相机拍摄的、具有共同区域路面元素的第一图像和第二图像进行处理，得到单应性矩阵；接着通过单应性矩阵对第一图像特征进行映射得到映射图像特征，并将映射图像特征与第二图像特征进行融合，得到融合图像特征；利用第二神经网络对融合图像特征进行处理，确定第一像素高深比。其中，第一像素高深比为第二图像中目标物的像素相对于路面的高度与像素深度之间的比值，该比值可以用于3D场景建模。本公开实施例的图像数据的处理方法，基于图像数据可以得到稠密且准确的像素高深比，进而可以辅助进行3D场景建模。
[0021]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0022]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0023]图1是本公开一个实施例中图像数据的处理方法的流程示意图；
[0024]图2是本公开一个实施例中步骤S1的流程示意图；
[0025]图3是本公开一个示例中第一神经网络的工作原理图；
[0026]图4是本公开另一个实施例中图像数据的处理方法的流程示意图；
[0027]图5是本公开又一个实施例中在步骤S4之后的流程示意图；
[0028]图6是本公开再一个实施例中在步骤S4之后的流程示意图；
[0029]图7是本公开一个实施例中步骤S5
″
的流程示意图；
[0030]图8是本公开一个实施例中步骤S5
″‑
6的流程示意图；
[0031]图9是本公开一个实施例中图像数据的处理装置的结构框图；
[0032]图10是本公开一个实施例中单应性矩阵确定模块100的结构框图；
[0033]图11是本公开另一个实施例中图像数据的处理装置的结构框图；
[0034]图12是本公开又一个实施例中图像数据的处理装置的结构框图；
[0035]图13是本公开再一个实施例中图像数据的处理装置的结构框图；
[0036]图14是本公开一个实施例中整体损失值确定模块1000的结构框图；
[0037]图15是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
[0038]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0039]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0040]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0041]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0042]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0043]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0044]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
[0045]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
[0046]对于相关领域普通技术人员已知的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据的处理方法，包括：利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵，其中，所述第一图像为第一时刻拍摄，所述第二图像为第二时刻拍摄，且所述第一图像和所述第二图像具有相同区域的路面元素；根据所述单应性矩阵，确定第一图像特征的映射图像特征，其中，所述第一图像特征为基于所述第一图像提取的特征；对所述映射图像特征和所述第二图像特征进行融合，得到融合图像特征，其中，所述第二图像特征为基于所述第二图像提取的特征；利用第二神经网络对所述融合图像特征进行处理，得到所述第二图像的第一像素高深比。2.根据权利要求1所述的图像数据的处理方法，其中，所述利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵，包括：对所述第一图像特征和所述第二图像特征进行融合，得到第三图像特征；利用所述第一神经网络中的路面子网络对所述第三图像特征进行处理，确定路面法线信息；利用所述第一神经网络中的姿态子网络对所述第三图像特征进行处理，确定所述第一图像与所述第二图像之间的相机相对姿态；基于预存的相机相对于路面的高度、所述路面法线信息和所述相机相对姿态，确定所述单应性矩阵。3.根据权利要求1所述的图像数据的处理方法，在所述利用第二神经网络对所述融合图像特征进行处理，得到第一像素高深比之后，还包括：基于在所述第二图像的采集时间内，与所述第二图像中的目标对象对应的雷达扫描数据，确定所述目标对象的第二像素高深比；基于所述第一像素高深比与所述第二像素高深比的差值，对所述第二神经网络进行参数调整。4.根据权利要求2所述的图像数据的处理方法，在所述利用第一神经网络对第一图像和第二图像进行处理，得到单应性矩阵之后，还包括：利用所述单应性矩阵对所述第一图像进行图像重建，得到第一重建图像；基于所述第一重建图像与所述第二图像之间在所述相同区域路面元素上的像素位移，调整所述单应性矩阵的矩阵参数；基于调整矩阵参数后的单应性矩阵，对所述路面子网络和所述姿态子网络进行参数调整。5.根据权利要求1所述的图像数据的处理方法，在所述利用第二神经网络对所述融合图像特征进行处理，得到第一像素高深比之后，还包括：基于在所述第二图像的采集时间内与所述第二图像中的目标对象对应的雷达扫描数据、所述第一像素高深比以及所述第二图像的路面掩码，确定整体损失值；基于所述整体损失值，对所述第一神经网络和所述第二神经网络进行参数调整。6.根据权利要求5所述的图像数据的处理方法，其中，所述基于在所述第二图像的采集时间内与所述第二图像中的目标对象...

【专利技术属性】
技术研发人员：陈腾，隋伟，谢佳锋，张骞，黄畅，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：