一种红外图像与可见光图像的配准方法及相关装置制造方法及图纸

本申请提供了红外图像与可见光图像的配准方法及相关装置，其中，方法包括：获取预设模组采集的待配准红外图像与待配准可见光图像；将待配准红外图像与待配准可见光图像在垂直方向进行对齐；依据坐标对应关系，对对齐后的可见光图像进行变换，得到初始配准红外图像；依据待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及参考深度值对应的视差值，确定相对于对齐后的可见光图像，初始配准红外图像的像素点横坐标偏移量；按照偏移量对初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。本申请可以提高红外图像与可见光图像之间在配准目标上的配准准确性。

【技术实现步骤摘要】
一种红外图像与可见光图像的配准方法及相关装置
本申请涉及图像配准领域，尤其涉及一种红外图像与可见光图像的配准方法及相关装置。
技术介绍
由红外发射器、红外相机与可见光相机组成的3D视觉模组作为3D视觉多传感器集成体被越来越多地应用到增强现实(AugmentedReality，AR)、虚拟现实(VirtualReality，VR)、混合现实(MixedReality，MR)、同时定位与建图(SimultaneousLocalizationAndMapping，SLAM)、智能家居、刷脸支付、机器人导航、无人驾驶等人工智能(ArtificialIntelligence，AI)领域。3D视觉模组可同时获取深度图像、红外图像和可见光图像，为了发挥多传感器融合的优势，对深度图像与可见光图像的配准、红外图像与可见光图像的配准成为必须要解决的问题。目前，大多数3D视觉模组都自带深度图像与可见光图像的配准，但缺少红外图像与可见光图像的配准。红外图像与可见光图像之间可以采用Rt配准方法，该配准方法分为三步:第一，利用张正友标定法标出红外相机、可见光相机的内参以及两个相机之间的位姿关系R、t；第二，获取可见光图像相对红外图像的偏移像素，该偏移像素可通过标定可见光图像与红外图像计算得到，也可直接联系模组厂家获取；第三，对红外图像做偏移处理，然后，使用红外相机内参、红外图像像素值、位姿R和t、可见光相机内参结合多视图几何成像原理得到配准后的红外图像。但是，由于该方法存在配准过程中可见光图像与配准后的红外图像之间配准目标对应像素点的坐标偏差较大，即对配准目标的配准准确性较低。
技术实现思路
本申请提供了一种红外图像与可见光图像的配准方法及装置，目的在于解决对配准目标的配准准确性低的问题。为了实现上述目的，本申请提供了以下技术方案：本申请提供了一种红外图像与可见光图像的配准方法，包括：获取预设模组采集的待配准红外图像与待配准可见光图像；将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述模组采集的红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。可选的，所述坐标对应关系的确定过程，包括：获取在所述参考深度值下拍摄的棋盘格红外图像和棋盘格可见光图像；对所述棋盘格红外图像和所述棋盘格可见光图像在垂直方向上对齐；采用二次函数拟合对齐后的棋盘格可见光图像和对齐后的棋盘格红外图像中，棋盘格的对应像素点对的坐标关系表达式；所述坐标关系表达式包括待确定参数；分别提取所述棋盘格可见光图像和所述棋盘格红外图像中棋盘格的角点；通过将所述棋盘格可见光图像中提取的角点与所述棋盘格红外图像中提取的角点进行匹配，确定所述待确定参数的取值；将所述待确定参数的取值下的坐标关系表达式，作为所述坐标对应关系。可选的，所述坐标关系表达式为xcolor_i＝xir_i+a*xir_i2+b*xir_i+c*xir_i*yir_i+d*yir_i+e*yir_i2+f；其中，xcolor_i表示棋盘格可见光图像中第i个匹配像素点的横坐标，xir_i表示配准前棋盘格红外图像中第i个匹配像素点的横坐标，yir_i表示配准前棋盘格红外图像中第i个匹配像素点的纵坐标，a，b，c，d，e，f为所述待确定参数；所述棋盘格可见光图像中第i个匹配像素点与配准前棋盘格红外图像中第i个匹配像素点，是棋盘格的对应像素点对。可选的，所述依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像，包括：将所述对齐后的待配准红外图像像素点的纵坐标，作为对齐后的待配准红外图像配准后的像素点的纵坐标；将所述对齐后的待配准红外图像各个像素点的横纵坐标值，按照所述坐标对应关系进行计算，得到所述对齐后的待配准红外图像中各个像素点配准后的横坐标；依据所述对齐后的待配准红外图像中各个像素点配准后的横坐标，对所述对齐后的待配准红外图像进行变换，得到所述初始配准红外图像。可选的，所述依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量，包括：确定所述深度图像中待配准目标的深度值；按照深度值与视差值间的预设关系，分别计算第一视差值和第二视差值；所述第一视差值为所述待配准目标的深度值对应的视差值；所述第二视差值为所述参考深度值对应的视差值；将所述第一视差值与所述第二视差值的差值与预设系数的乘积，作为所述像素点横坐标偏移量。可选的，所述待配准目标为人脸；所述确定所述深度图像中待配准目标的深度值，包括：获取预设数量人脸深度值范围；所述预设数量人脸深度值范围是：将事先确定的人脸深度值范围中的多个预设深度值分别作为中心值，按照预设偏差生成的深度值范围；分别确定所述深度图像中各个像素点的深度值所属的人脸深度值范围；分别统计各个所述人脸深度值范围包含的像素点总数量，得到各个人脸深度值范围的像素点统计值；将满足预设条件的像素点统计值对应的人脸深度值范围的中心值，作为人脸深度值。可选的，在所述按照所述偏移量对所述初始配准红外图像中的各个像素点的横坐标进行偏移，得到配准后的红外图像之后，还包括：对配准后的红外图像采用线性插值法进行插值运算。本申请还提供了一种红外图像与可见光图像的配准装置，包括：获取模块，用于获取预设模组采集的待配准红外图像与待配准可见光图像；垂直方向对齐模块，用于将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；变换模块，用于依据预设的坐标对应关系，对对齐后的可见光图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；确定模块，用于依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；偏移模块，用于按照所述像素点横坐标偏移量，对所述初始配准红本文档来自技高网...

【技术保护点】
1.一种红外图像与可见光图像的配准方法，其特征在于，包括：/n获取预设模组采集的待配准红外图像与待配准可见光图像；/n将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；/n依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述模组采集的红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；/n依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；/n按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。/n

【技术特征摘要】
1.一种红外图像与可见光图像的配准方法，其特征在于，包括：
获取预设模组采集的待配准红外图像与待配准可见光图像；
将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；
依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述模组采集的红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；
依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；
按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。


2.根据权利要求1所述的方法，其特征在于，所述坐标对应关系的确定过程，包括：
获取在所述参考深度值下拍摄的棋盘格红外图像和棋盘格可见光图像；
对所述棋盘格红外图像和所述棋盘格可见光图像在垂直方向上对齐；
采用二次函数拟合对齐后的棋盘格可见光图像和对齐后的棋盘格红外图像中，棋盘格的对应像素点对的坐标关系表达式；所述坐标关系表达式包括待确定参数；
分别提取所述棋盘格可见光图像和所述棋盘格红外图像中棋盘格的角点；
通过将所述棋盘格可见光图像中提取的角点与所述棋盘格红外图像中提取的角点进行匹配，确定所述待确定参数的取值；
将所述待确定参数的取值下的坐标关系表达式，作为所述坐标对应关系。


3.根据权利要求2所述的方法，其特征在于，所述坐标关系表达式为xcolor_i＝xir_i+a*xir_i2+b*xir_i+c*xir_i*yir_i+d*yir_i+e*yir_i2+f；
其中，xcolor_i表示棋盘格可见光图像中第i个匹配像素点的横坐标，xir_i表示配准前棋盘格红外图像中第i个匹配像素点的横坐标，yir_i表示配准前棋盘格红外图像中第i个匹配像素点的纵坐标，a，b，c，d，e，f为所述待确定参数；所述棋盘格可见光图像中第i个匹配像素点与配准前棋盘格红外图像中第i个匹配像素点，是棋盘格的对应像素点对。


4.根据权利要求1所述的方法，其特征在于，所述依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像，包括：
将所述对齐后的待配准红外图像像素点的纵坐标，作为对齐后的待配准红外图像配准后的像素点的纵坐标；
将所述对齐后的待配准红外图像各个像素点的横纵坐标值，按照所述坐标对应关系进行计算，得到所述对齐后的待配准红外图像中各个像素点配准后的横坐标；
依据所述对齐后的待配准红外图像中各个像素点配准后的横坐标，对所述对齐后的待配准红外图像进行变换，得到所述初始配准红外图像。


5.根据权利要求1所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：白志强，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11