图像配准方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种图像配准方法、装置、电子设备及介质，属于图像处理领域。该方法包括：获取第一深度图像和RGB图像；对所述第一深度图像进行图像配准，得到第二深度图像，所述第二深度图像包括至少一个亮区，所述亮区包括至少一个有效深度像素；根据所述RGB图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图，所述亮区像素合并指的是将所述至少一个亮区中每一亮区的至少一个像素合并为一个像素。并为一个像素。并为一个像素。

【技术实现步骤摘要】
图像配准方法、装置、电子设备及介质


[0001]本申请属于图像处理领域，具体涉及一种图像配准方法、装置、电子设备及介质。

技术介绍

[0002]从深度计算到RGBD配准的方案是先基于iTOF的相位图做深度计算得到若干亮区的深度，每个亮区占若干个像素，然后对每个亮区的所有深度做平均得到稀疏深度，每个深度占一个像素，最后将稀疏深度配准到RGB图像坐标系，利用深度信息辅助RGB图像形成3D信息。但是，现有的点阵iTOF深度计算和RGB
‑
D配准方案，配准的准确度和配准后的深度准确度会有偏差。

技术实现思路

[0003]本申请实施例的目的是提供一种图像配准方法、装置、电子设备及介质，能够解决配准的准确度和配准后的深度准确度低的问题。
[0004]第一方面，本申请实施例提供了一种图像配准方法，该方法包括：
[0005]获取第一深度图像和RGB图像；
[0006]对所述第一深度图像进行图像配准，得到第二深度图像，所述第二深度图像包括至少一个亮区，所述亮区包括至少一个有效深度像素；
[0007]根据所述RGB图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图，所述亮区像素合并指的是将所述至少一个亮区中每一亮区的至少一个像素合并为一个像素。
[0008]第二方面，本申请实施例提供了一种图像配准的装置，包括：
[0009]图像采集模块，用于获取第一深度图像和RGB图像；
[0010]图像配准模块，用于根据所述第一深度图像和RGB图像，对所述第一深度图像进行图像配准，得到第二深度图像；
[0011]像素合并模块，用于根据所述RGB图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图。
[0012]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0013]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0014]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0015]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0016]在本申请实施例中，在进行亮区像素合并前进行第一深度图像和RGB图像的配准，并根据配准后得到的第二深度图像和RGB图像进行亮区像素合并，避免直接对存在复杂状况的亮区直接进行加权平均而产生的偏差，提高配准的准确度和配准后的深度准确度。
[0017]在本申请实施例中，配准时RGB坐标系中的第一深度图像与RGB图像分辨率一致，待配准的第一深度图像中的深度数据为非稀疏深度数据，因此可以准确获得RGB图像中对应亮区的位置，提高了配准的准确度。
附图说明
[0018]图1是能够应用根据一个实施例的图像配准方法的实施环境和能够实施该方法的装置组成结构的示意图；
[0019]图2是根据一个实施例的图像配准方法的流程示意图；
[0020]图3是根据另一个实施例的配准深度图像和RGB图像的流程示意图；
[0021]图4是根据又一个实施例的合并有效深度像素的流程示意图；
[0022]图5是本专利技术实施例中电子设备示意图；
[0023]图6是本专利技术实施例中电子设备的硬件结构示意图。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0025]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0026]在本实施例中，点阵iTOF相位图能够提供深度信息，辅助RGB摄像头实现多种3D场景应用。点阵iTOF的发射端是采用DOE，衍射光学元件(Diffractive Optical Elements)简称DOE，又称二元光学器件，主要用于激光束整形，比如均匀化、准直、聚焦、形成特定图案等。由发射端投射出若干个散点，并由接收端的CMOS传感器接收，形成点阵iTOF相位图。点阵iTOF的深度计算是基于相位计算的间接飞行时间法实现的，深度计算的结果是第一深度图像，第一深度图像上仅含有与发射端散点对应的深度。再与RGB摄像头结合使用，进行RGB
‑
D配准，最终得到RGB图像坐标系下的稀疏深度图。
[0027]当前的一种从深度计算到RGBD配准的方案是首先基于iTOF相位图做深度计算得到若干亮区的深度，其中每个亮区占若干个像素，然后对每个亮区的所有深度做平均得到稀疏深度，其中每个深度占一个像素，最后将稀疏深度配准到RGB图像坐标系。
[0028]首先，在深度计算过程中，对每个亮区深度的像素合并处理仅仅是加权平均，若亮区投射到物体边缘处，或是亮区内深度噪声很大时，此方法会导致平均深度的准确度出现偏差，也会导致配准的准确度出现偏差。
[0029]其次，在配准的过程中，由于待配准的深度数据是稀疏的深度像素，配准后得到的是浮点的RGB图像坐标，需要对坐标值做四舍五入取整。由于配准时会使用一个比RGB摄像头小很多倍的分辨率，若RGB图像分辨率很小或深度很小时，配准的准确度会受影响。
[0030]因此，上述方法的点阵iTOF深度计算和RGB
‑
D配准方案，配准的准确度和配准后的深度准确度会有偏差。
[0031]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像配准方法、装置、电子设备及介质进行详细地说明。
[0032]请参见图2，本实施例的图像配准方法可以包括如下步骤101
‑
103：
[0033]步骤101，获取第一深度图像和RGB图像。
[0034]步骤102，对所述第一深度图像进行图像配准，得到第二深度图像，所述第二深度图像包括至少一个亮区，所述亮区包括至少一个有效深度像素。
[0035]步骤103，根据所述RGB图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图，所述亮区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准方法，其特征在于，包括：获取第一深度图像和RGB图像；对所述第一深度图像进行图像配准，得到第二深度图像，所述第二深度图像包括至少一个亮区，所述亮区包括至少一个有效深度像素；根据所述RGB图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图，所述亮区像素合并指的是将所述至少一个亮区中每一亮区的至少一个像素合并为一个像素。2.根据权利要求1所述的方法，其特征在于，所述获取第一深度图像和RGB图像之前，还包括：对点阵iTOF相位图进行深度计算得到第一深度图像。3.根据权利要求2所述的方法，其特征在于，所述点阵iTOF相位图是由第一摄像头获取的，所述RGB图像是由第二摄像头获取的；所述对所述第一深度图像进行图像配准，得到第二深度图像包括：根据第一内参信息、第二内参信息和目标外参信息，对所述第一深度图像进行坐标系转换，得到与所述RGB图像坐标系对齐的第二深度图像；其中，所述第一内参信息为所述第一摄像头的内参信息，所述第二内参信息为所述第二摄像头的内参信息，所述目标外参信息为所述第一摄像头和所述第二摄像头之间的外参信息。4.根据权利要求1所述的方法，其特征在于，所述根据所述RGB图像的图像信息，对所述第二深度图像进行亮区像素合并，包括：对所述RGB图像中第一区域内的像素聚类，得到至少一个目标区域，所述第一区域为所述RGB图像中与所述第二深度图像中亮区对应的区域；在所述至少一个目标区域为一个区域的情况下，将所述一个区域确定为第二区域；在所述至少一个目标区域为至少两个区域的情况下，根据所述至少两个区域中每一区域的像素面积，确定第二区域，所述第二区域的像素面积大于所述至少两个区域中至少一个第三区域的像素面积，所述至少一个第三区域不包括所述第二区域；根据所述RGB图像中第二区域的区域坐标，对所述第二深度图像中第二亮区进行亮区像素合并，得到稀疏深...

【专利技术属性】
技术研发人员：黄鑫，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：