图像对齐方法、电子设备及存储介质技术

本申请实施例涉及图像处理领域，公开了一种图像对齐方法、电子设备及存储介质。图像对齐方法包括：针对结构光相机所得到的相同分辨率的彩色图和目标图，将彩色图分块，并对得到的多个彩色图像块以结构光相机的最近工作距离和最远工作距离分别映射到目标图的图像坐标系中，得到目标图中对应最近工作距离的多个第一图像块和对应最远工作距离的多个第二图像块；根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含第一图像块和第二图像块的外接矩形，得到目标图的多个第三图像块；根据结构光相机的参数，将多个第三图像块与彩色图对齐。本申请避免了对齐后的目标图出现断裂、锯齿、直线变曲线等情况，有效提高了对齐精度。了对齐精度。了对齐精度。

【技术实现步骤摘要】
图像对齐方法、电子设备及存储介质


[0001]本申请实施例涉及图像处理领域，特别涉及一种图像对齐方法、电子设备及存储介质。

技术介绍

[0002]深度相机可以实时获取环境物体深度信息、三维尺寸以及空间信息，为动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障、工业领域的零件扫描检测分拣等应用场景提供了技术支持，具有广泛的消费级、工业级应用需求。在这些复杂场景中，都需要彩色图像、红外图像和深度图像的像素对齐，以获取更多的特征信息，增加单个像素点的特征维度，提升算法效果和精度。
[0003]然而，当前主流的三图对齐方案是利用摄像头参数对深度信息进行逐像素解算，这种方法由于需要逐像素计算，耗时大，难以应用到对时间极其敏感的图像处理芯片上。

技术实现思路

[0004]本申请实施方式的目的在于提供一种图像对齐方法、电子设备及存储介质，通过将彩色图像块进行反向映射和外接矩形计算，获取目标图的多个第三图像块，实现对目标图的多个第三图像块并行处理，有效提高了对齐效率，且避免了对齐后的目标图出现断裂、锯齿、直线变曲线等情况，有效提高了对齐精度。
[0005]为解决上述技术问题，本申请的实施方式提供了一种图像对齐方法，包括：针对结构光相机所得到的相同分辨率的彩色图和目标图，将所述彩色图分块，并对得到的多个彩色图像块以所述结构光相机的最近工作距离和最远工作距离分别映射到所述目标图的图像坐标系中，得到所述目标图中对应所述最近工作距离的多个第一图像块和对应所述最远工作距离的多个第二图像块；根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块；根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐。
[0006]本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使所述至少一个处理器能够执行以上实施方式所述的图像对齐方法。
[0007]本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的图像对齐方法。
[0008]本申请实施方式提供的图像对齐方法，为了将目标图对齐到彩色图，在处理时先将彩色图分块处理后得到的多个彩色图像块，按照结构光相机的最近工作距离和最远工作距离映射到目标图的图像坐标系中，得到多个第一图像块和多个第二图像块。即按照彩色图像块的位置对目标图进行分块，如此得到的目标图的多个分块中就隐含了彩色图坐标系的信息，相当于对后续对齐过程进行导向或监督，有利于提高对齐准确性。然后计算包含第
一图像块和第二图像块的外接矩形，得到目标的多个第三图像块，将多个第三图像块与彩色图对齐。通过计算外接矩形得到第三图像块保证所有第三图像块组成的图像可以覆盖对齐后的目标图，避免对齐后的目标图出现断裂、锯齿、直线变曲线等情况，有效提高对齐精度，且在对齐过程中多个第三图像块可以并行处理，有效提高对齐速度。
[0009]另外，本申请实施方式提供的图像对齐方法，根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块，包括：从对应同一彩色图像块的第一图像块和第二图像块的角点坐标中，获取横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值；根据所述横坐标最大值、所述横坐标最小值、所述纵坐标最大值和所述纵坐标最小值，获取包含对应同一彩色图像块的第一图像块和第二图像块的外接矩形，并以外接矩形为边界得到所述目标图的多个第三图像块。本申请由于红外镜头和彩色镜头之间有旋转、平移、分辨率差异、FOV差异等，因此通过计算外接矩形得到第三图像块保证所有第三图像块组成的图像可以覆盖对齐后的目标图，避免目标图中个别像素点未被包含在第三图像块中。
[0010]另外，本申请实施方式提供的图像对齐方法，当目标图为深度图时，根据所述第三图像块中各像素点的坐标、所述各像素点的深度值和所述结构光相机中红外镜头的参数，将所述第三图像块的各像素点映射到彩色镜头坐标系，得到像素点在彩色镜头坐标系下的三维坐标；根据彩色镜头的参数，将所述各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在彩色图中的坐标。本申请在将深度图对齐到彩色图过程中，对深度图的多个第三图像的像素点并行处理，以使深度图的像素点快速映射到彩色图中。
[0011]另外，本申请实施方式提供的图像对齐方法，当目标图为红外图时，根据所述第三图像块的像素点坐标、所述深度图的深度中值和所述红外镜头的参数，将所述第三图像块的各像素点映射到彩色镜头坐标系，得到像素点在彩色镜头坐标系下的三维坐标；根据彩色镜头的参数，将所述各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在彩色图中的坐标；其中，所述深度图的拍摄对象与所述红外图的拍摄对象相同，所述深度中值为所述深度图中像素点深度值的中位值，或所述深度图中像素点深度值的平均值。本申请在将红外图对齐到彩色图时，对红外图的多个第三图像块并行处理，利用深度中值将红外图进行整理平移缩放，进一步提高对齐效率，也避免对齐后的红外图出现空洞区域。
附图说明
[0012]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0013]图1是本申请实施方式提供的图像对齐方法的流程图；图2是本申请实施方式提供的电子设备的结构示意图。
具体实施方式
[0014]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请
的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
[0015]下面对本实施方式的图像对齐方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
[0016]本申请的实施方式涉及一种图像对齐方法，如图1所示，包括。
[0017]步骤101，针对结构光相机所得到的相同分辨率的彩色图和目标图，将彩色图分块，并对得到的多个彩色图像块以结构光相机的最近工作距离和最远工作距离分别映射到目标图的图像坐标系中，得到目标图中对应最近工作距离的多个第一图像块和对应最远工作距离的多个第二图像块。
[0018]本实施例中，常规的结构光相机通常包含两个摄像头：红外摄像头和彩色摄像头。其中，红外摄像头用于获取目标图（即深度图和红外图）。彩色摄像头用于获取彩色图。因此，红外图和深度图的图像坐标系一般是相同的，红外图的像素点和深度图的像素点之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像对齐方法，其特征在于，包括：针对结构光相机所得到的相同分辨率的彩色图和目标图，将所述彩色图分块，并对得到的多个彩色图像块以所述结构光相机的最近工作距离和最远工作距离分别映射到所述目标图的图像坐标系中，得到所述目标图中对应所述最近工作距离的多个第一图像块和对应所述最远工作距离的多个第二图像块；根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块；根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐。2.根据权利要求1所述的图像对齐方法，其特征在于，所述根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块，包括：从对应同一彩色图像块的第一图像块和第二图像块的角点坐标中，获取横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值；根据所述横坐标最大值、所述横坐标最小值、所述纵坐标最大值和所述纵坐标最小值，获取包含对应同一彩色图像块的第一图像块和第二图像块的外接矩形，并以外接矩形为边界得到所述目标图的多个第三图像块。3.根据权利要求1所述的图像对齐方法，其特征在于，所述根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐，包括：当所述目标图为深度图时，根据每个第三图像块中各像素点的坐标、所述各像素点的深度值和所述结构光相机中红外镜头的参数，将所述每个第三图像块的各像素点映射到彩色镜头坐标系，得到各像素点在彩色镜头坐标系下的三维坐标；根据彩色镜头的参数，将所述各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在所述彩色图中的坐标。4.根据权利要求3所述的图像对齐方法，其特征在于，所述根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐，包括：当所述目标图为红外图时，根据每个第三图像块的像素点坐标、所述深度图的深度中值和所述红外镜头的参数，将所述每个第三图像块的各像素点映射到彩色镜头坐标系，得到各像素点在彩色镜头坐标系下的三维坐标；根据彩色镜头的参数，将所述各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在彩色图中的坐标；其中，所述深度图的拍摄对象与所述红外图的拍摄对象相同，所述深度中值为所述深度图中像素点深度值的中位值，或所述深度图中像素点深度值的平均值。5.根据权利要求1
‑
4中任一项所述的图像对齐方法，其特征在于，所述针对结构光相机所得到的相同分辨率的彩色图和目标图，将所述彩色图分块，并对得到的多个彩色图像块以所述结构光相机的最近工作距离和最远工作距离分别映射到所述目标图的图像坐标系中，得到所述目标图中对应所述最近工作距离的多个第一图像块和对应所述最远工作距离的多个第二图...

【专利技术属性】
技术研发人员：曹天宇，李东洋，户磊，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：