图像处理方法及装置、电子设备及存储介质制造方法及图纸

本公开是关于一种图像处理方法及装置、电子设备及存储介质。该方法包括：获取采集对象的两组组合图像；其中，一组组合图像中包括第一相机采集的第一深度图像和第二相机采集的第一平面图像，另一组组合图像中包括所述第一相机采集的第二深度图像和所述第二相机采集的第二平面图像；任一组组合图像中的深度图像和平面图像之间具有映射关系；基于所述映射关系，以及所述第一深度图像和所述第二深度图像中所包括的深度信息，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵；其中，所述深度信息表征所述采集对象与所述第一相机的距离。通过该方法，能提升单应性估计的准确性。性。性。

【技术实现步骤摘要】
图像处理方法及装置、电子设备及存储介质


[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法及装置、电子设备及存储介质。

技术介绍

[0002]在图像处理领域中，单应性矩阵被定义为一个平面到另外一个平面的投影映射矩阵。假设已经取得了两图像之间的单应，则可利用单应矩阵H将两幅图像关联起来，例如通过公式A＝H*B将图像A和图像B进行关联，也就是利用单应性矩阵H将图像B变换到图像A。
[0003]单应性矩阵有很多实际的应用，例如图像的校正、配准以及在SLAM中估计两个相机间的运动。然而，如何准确估计单应性矩阵是关键。

技术实现思路

[0004]本公开提供一种图像处理方法及装置、电子设备及存储介质。
[0005]根据本公开实施例的第一方面，提供一种图像处理方法，包括：
[0006]获取采集对象的两组组合图像；其中，一组组合图像中包括第一相机采集的第一深度图像和第二相机采集的第一平面图像，另一组组合图像中包括所述第一相机采集的第二深度图像和所述第二相机采集的第二平面图像；任一组组合图像中的深度图像和平面图像之间具有映射关系；
[0007]基于所述映射关系，以及所述第一深度图像和所述第二深度图像中所包括的深度信息，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵；其中，所述深度信息表征所述采集对象与所述第一相机的距离。
[0008]在一些实施例中，所述基于所述映射关系，以及所述第一深度图像和所述第二深度图像中所包括的深度信息，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵，包括：
[0009]对所述第一深度图像和所述第二深度图像进行深度区域划分，获得不同深度区域的第一深度子图像以及不同深度区域的第二深度子图像；其中，不同深度区域表征所述采集对象上与所述第一相机的距离不同的局部区域；
[0010]根据所述映射关系，获取各深度区域的第一深度子图像在所述第一平面图像上对应的第一平面子图像，以及各深度区域的第二深度子图像在所述第二平面图像上对应的第二平面子图像；
[0011]根据深度区域相同的一组所述第一平面子图像和所述第二平面子图像，建立单应性子矩阵；
[0012]根据多组第一平面子图像和第二平面子图像的组合对应的单应性子矩阵，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵。
[0013]在一些实施例中，所述方法包括：
[0014]对所述第一平面图像和所述第二平面图像做特征点匹配，获得所述第一平面图像
中像素点和所述第二平面图像中像素点之间的匹配组合；
[0015]所述根据深度区域相同的一组所述第一平面子图像和所述第二平面子图像，建立单应性子矩阵，包括：
[0016]从所述像素点的匹配组合中，选取出属于深度区域相同的所述第一平面子图像和所述第二平面子图像的目标匹配组合；
[0017]基于所述目标匹配组合，计算所述单应性子矩阵。
[0018]在一些实施例中，所述单应性矩阵中不同的单应性子矩阵的权重不同；其中，目标深度区域对应的单应性子矩阵的权重大于所述目标深度区域之外的深度区域对应的单应性子矩阵的权重。
[0019]在一些实施例中，所述方法包括：
[0020]对所述第一相机进行离线标定，获得第一标定结果；所述第一标定结果用于对所述第一相机采集的图像进行校正获得所述第一深度图像和所述第二深度图像；
[0021]对所述第二相机进行离线标定，获得第二标定结果；所述第二标定结果用于对所述第二相机采集的图像进行校正获得所述第一平面图像和所述第二平面图像；
[0022]基于所述第一标定结果以及所述第二标定结果，确定所述映射关系。
[0023]在一些实施例中，所述方法包括：
[0024]根据所述单应性矩阵，对所述第一平面图像和所述第二平面图像做配准。
[0025]根据本公开实施例的第二方面，提供一种图像处理装置，包括：
[0026]获取模块，配置为获取采集对象的两组组合图像；其中，一组组合图像中包括第一相机采集的第一深度图像和第二相机采集的第一平面图像，另一组组合图像中包括所述第一相机采集的第二深度图像和所述第二相机采集的第二平面图像；任一组组合图像中的深度图像和平面图像之间具有映射关系；
[0027]确定模块，配置为基于所述映射关系，以及所述第一深度图像和所述第二深度图像中所包括的深度信息，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵；其中，所述深度信息表征所述采集对象与所述第一相机的距离。
[0028]在一些实施例中，所述确定模块，还配置为对所述第一深度图像和所述第二深度图像进行深度区域划分，获得不同深度区域的第一深度子图像以及不同深度区域的第二深度子图像；其中，不同深度区域表征所述采集对象上与所述第一相机的距离不同的局部区域；根据所述映射关系，获取各深度区域的第一深度子图像在所述第一平面图像上对应的第一平面子图像，以及各深度区域的第二深度子图像在所述第二平面图像上对应的第二平面子图像；根据深度区域相同的一组所述第一平面子图像和所述第二平面子图像，建立单应性子矩阵；根据多组第一平面子图像和第二平面子图像的组合对应的单应性子矩阵，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵。
[0029]在一些实施例中，所述装置包括：
[0030]特征匹配模块，配置为对所述第一平面图像和所述第二平面图像做特征点匹配，获得所述第一平面图像中像素点和所述第二平面图像中像素点之间的匹配组合；
[0031]所述确定模块，还配置为从所述像素点的匹配组合中，选取出属于深度区域相同的所述第一平面子图像和所述第二平面子图像的目标匹配组合；基于所述目标匹配组合，计算所述单应性子矩阵。
[0032]在一些实施例中，所述单应性矩阵中不同的单应性子矩阵的权重不同；其中，目标深度区域对应的单应性子矩阵的权重大于所述目标深度区域之外的深度区域对应的单应性子矩阵的权重。
[0033]在一些实施例中，所述装置包括：
[0034]第一标定模块，配置为对所述第一相机进行离线标定，获得第一标定结果；所述第一标定结果用于对所述第一相机采集的图像进行校正获得所述第一深度图像和所述第二深度图像；
[0035]第二标定模块，配置为对所述第二相机进行离线标定，获得第二标定结果；所述第二标定结果用于对所述第二相机采集的图像进行校正获得所述第一平面图像和所述第二平面图像；
[0036]映射模块，配置为基于所述第一标定结果以及所述第二标定结果，确定所述映射关系。
[0037]在一些实施例中，所述装置包括：
[0038]配准模块，配置为根据所述单应性矩阵，对所述第一平面图像和所述第二平面图像做配准。
[0039]根据本公开实施例的第三方面，提供一种电子设备，包括：
[0040]处理器；
[0041]用于存储处理器可执行指令的存储器；
[0042]其中，所述处理器被配置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取采集对象的两组组合图像；其中，一组组合图像中包括第一相机采集的第一深度图像和第二相机采集的第一平面图像，另一组组合图像中包括所述第一相机采集的第二深度图像和所述第二相机采集的第二平面图像；任一组组合图像中的深度图像和平面图像之间具有映射关系；基于所述映射关系，以及所述第一深度图像和所述第二深度图像中所包括的深度信息，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵；其中，所述深度信息表征所述采集对象与所述第一相机的距离。2.根据权利要求1所述的方法，其特征在于，所述基于所述映射关系，以及所述第一深度图像和所述第二深度图像中所包括的深度信息，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵，包括：对所述第一深度图像和所述第二深度图像进行深度区域划分，获得不同深度区域的第一深度子图像以及不同深度区域的第二深度子图像；其中，不同深度区域表征所述采集对象上与所述第一相机的距离不同的局部区域；根据所述映射关系，获取各深度区域的第一深度子图像在所述第一平面图像上对应的第一平面子图像，以及各深度区域的第二深度子图像在所述第二平面图像上对应的第二平面子图像；根据深度区域相同的一组所述第一平面子图像和所述第二平面子图像，建立单应性子矩阵；根据多组第一平面子图像和第二平面子图像的组合对应的单应性子矩阵，确定所述第一平面图像和所述第二平面图像之间的单应性矩阵。3.根据权利要求2所述的方法，其特征在于，所述方法包括：对所述第一平面图像和所述第二平面图像做特征点匹配，获得所述第一平面图像中像素点和所述第二平面图像中像素点之间的匹配组合；所述根据深度区域相同的一组所述第一平面子图像和所述第二平面子图像，建立单应性子矩阵，包括：从所述像素点的匹配组合中，选取出属于深度区域相同的所述第一平面子图像和所述第二平面子图像的目标匹配组合；基于所述目标匹配组合，计算所述单应性子矩阵。4.根据权利要求2所述的方法，其特征在于，所述单应性矩阵中不同的单应性子矩阵的权重不同；其中，目标深度区域对应的单应性子矩阵的权重大于所述目标深度区域之外的深度区域对应的单应性子矩阵的权重。5.根据权利要求1所述的方法，其特征在于，所述方法包括：对所述第一相机进行标定，获得第一标定结果；所述第一标定结果用于对所述第一相机采集的图像进行校正获得所述第一深度图像和所述第二深度图像；对所述第二相机进行标定，获得第二标定结果；所述第二标定结果用于对所述第二相机采集的图像进行校正获得所述第一平面图像和所述第二平面图像；基于所述第一标定结果以及所述第二标定结果，确定所述映射关系。6.根据权利要求1所述的方法，其特征在于，所述方法包括：
根据所述单应性矩阵，对所述第一平面图像和所述第二平面图像做配准。7.一种图像处理装置，其特征在于，所述装置包括：获取模块，配置为获取采集对象的两组组合图像；其中，一组组合图像中包括第一相机采集的第...

【专利技术属性】
技术研发人员：张超，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：