图像配准方法及装置制造方法及图纸

本申请公开了一种图像配准方法及装置，属于图像处理领域。该方法包括：获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；基于第一标定参数，对第一图像进行配准处理，得到与第二图像配准的第一深度图像；基于深度校正参数，对第一深度图像进行图像仿射变换，得到与第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。与第一摄像头和第二摄像头相关。与第一摄像头和第二摄像头相关。

【技术实现步骤摘要】
图像配准方法及装置


[0001]本申请属于图像处理领域，具体涉及一种图像配准方法及装置。

技术介绍

[0002]随着电子设备中摄像头种类及拍摄功能的不断丰富，由不同种类的摄像头采集的图像之间的配准也变得越来越重要。
[0003]以电子设备对红绿蓝(Red Green Blue，RGB)摄像头采集的RGB图像，与飞行时间(Time of flight，ToF)摄像头采集的深度图像进行配准为例，电子设备可以采用该RGB摄像头的内参、该ToF摄像头的内参，以及该RGB摄像头和该ToF摄像头之间的外参，对该深度图像进行立体校正、深度视差转换、像素平移处理、后处理与反校正，得到与该RGB图像像素级对齐的目标深度图像，从而完成图像的配准。
[0004]然而，按照上述方法，电子设备只有在各摄像头的内参和外参均固定不变的情况下，才能确保图像配准的准确性。而由于自动对焦功能会导致摄像头镜片组的结构变化，光学防抖功能会导致摄像头的移动，即电子设备中的一些摄像头的标定参数(即内参和/或外参)会发生变化，因此导致电子设备对图像配准的准确性较差。

技术实现思路

[0005]本申请实施例的目的是提供一种图像配准方法及装置，能够解决电子设备对图像配准的准确性较差的问题。
[0006]第一方面，本申请实施例提供了一种图像配准方法，该方法包括：获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；基于第一标定参数，对第一图像进行配准处理，得到与第二图像配准的第一深度图像；基于深度校正参数，对第一深度图像进行图像仿射变换，得到与第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。
[0007]第二方面，本申请实施例提供了一种图像配准装置，该装置包括获取模块和处理模块；获取模块，用于获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；处理模块，用于基于第一标定参数，对获取模块获取的第一图像进行配准处理，得到与获取模块获取的第二图像配准的第一深度图像；并基于深度校正参数，对处理得到的第一深度图像进行图像仿射变换，得到与获取模块获取的第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。
[0008]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0009]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0010]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述
通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0011]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0012]在本申请实施例中，可以获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；且基于第一标定参数，对第一图像进行配准处理，得到与第二图像配准的第一深度图像；并基于深度校正参数，对第一深度图像进行图像仿射变换，得到与第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。通过该方案，由于电子设备可以基于与第一摄像头和第二摄像头相关的标定参数，对第一摄像头采集的第一图像进行配准处理，得到与第二摄像头采集的第二图像配准的第一深度图像，并可以基于深度校正参数，对第一深度图像进行处理，得到与第三摄像头采集的第三图像配准的深度图像；即电子设备可以通过第二图像，间接实现第一图像与第三图像的配准，因此可以提高电子设备对图像配准的准确性。
附图说明
[0013]图1是本申请实施例提供的图像配准方法的流程图；
[0014]图2是本申请实施例提供的图像配准装置的示意图；
[0015]图3是本申请实施例提供的电子设备的示意图；
[0016]图4是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
[0017]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0018]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0019]下面首先对本申请的说明书和权利要求书中涉及的一些名词或者术语进行解释说明。
[0020]ToF：即飞行时间测距技术，是通过测量由人造光信号(如红外激光)的往返时间来解析摄像头与拍摄对象之间距离的一种场景深度感知技术。
[0021]红绿蓝深度(Red Green Blue Depth，RGBD)图像配准：彩色图像与深度图像的特征匹配与像素级对齐的过程。
[0022]摄像头的内参：包括摄像头的焦距、主点以及畸变参数。
[0023]摄像头的外参：摄像头在空间坐标系中的旋转或平移。
[0024]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像配准
方法及装置进行详细地说明。
[0025]近年来，随着三维(3
‑
Dimension，3D)市场的逐步打开，3D场景感知技术也逐步走进了公众视线。目前，主流的3D场景感知技术包括双目视觉技术、结构光技术、ToF技术。
[0026]其中，双目视觉技术基于视差原理，可以同时获取被测物体的两个视角的图像，并通过三角测量方法计算被测物体的深度信息；结构光技术是通过近红外激光发射装置将具有结构特征的光线投射到被摄物体上，再由专用的红外摄像头采集图像信息并结合三角测量方法进行计算，从而可以获得被测物体的深度信息；而ToF技术一直都是计算机视觉领域中研究与关注的重点，该技术通过测量人造光信号的往返时间来解析摄像头与拍摄对象之间距离。相比于双目视觉技术和结构光技术，由于ToF技术具有测距精度高、软件开销小、抗干扰能力强等优点，因此在3D场景感知技术的相关领域，如背景虚化、即时定位与地图构建、场景三维重建、增强现实技术、虚拟现实技术等领域具有广泛的应用前景。
[0027]而随着电子设备拍摄功能的不断本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准方法，其特征在于，所述方法包括：获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；基于第一标定参数，对所述第一图像进行配准处理，得到与所述第二图像配准的第一深度图像；基于深度校正参数，对所述第一深度图像进行图像仿射变换，得到与所述第三图像配准的第二深度图像；其中，所述第一标定参数，与所述第一摄像头和所述第二摄像头相关。2.根据权利要求1所述的方法，其特征在于，所述基于深度校正参数，对所述第一深度图像进行图像仿射变换，得到与所述第三图像配准的第二深度图像之前，所述方法还包括：基于所述第二图像、所述第三图像、所述第一深度图像以及第二标定参数，对所述第二标定参数进行校正，得到目标标定参数；基于所述目标标定参数，确定所述深度校正参数；其中，所述第二标定参数，与所述第二摄像头和所述第三摄像头相关。3.根据权利要求2所述的方法，其特征在于，所述基于所述第二图像、所述第三图像、所述第一深度图像以及第二标定参数，对所述第二标定参数进行校正，得到目标标定参数，包括：确定所述第二图像与所述第三图像之间的N对匹配特征点，N为正整数；基于所述第一深度图像的深度信息、所述第二标定参数以及所述N对匹配特征点的特征信息，通过目标算法，对所述第二标定参数进行校正，得到所述目标标定参数。4.根据权利要求1所述的方法，其特征在于，所述基于第一标定参数，对所述第一图像进行配准处理，得到与所述第二图像配准的第一深度图像，包括：基于所述第一标定参数，对所述第一图像进行深度图像校正，得到第一校正图像；获取所述第一校正图像中的像素点的视差信息；根据所述视差信息，对所述第一校正图像进行像素平移，得到第二校正图像；基于所述第一标定参数对所述第二校正图像进行反校正，得到所述第一深度图像。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一摄像头包括飞行时间ToF摄像头，所述第二摄像头包括结构固定的红绿蓝RGB摄像头，所述第三摄像头包括具有微云台的摄像头。6.一种图像配准装置，其特征在于，所述装置包括获取模块和处理模块；所述获取模块，用于获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第...

【专利技术属性】
技术研发人员：谭梧浩，赵偲斯，李佐广，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：