可见光图像和红外图像的配准融合方法及装置制造方法及图纸

本发明专利技术提供了一种可见光图像和红外图像的配准融合方法和装置，应用于配置有可见光摄像头和红外摄像头的设备上，其中，所述红外摄像头的光轴与所述设备正视图平面垂直，该方法包括：根据所述可见光摄像头与红外摄像头的空间相对位置、转换参数、以及目标物体距离所述可见光摄像头的水平距离，建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。在本发明专利技术中，通过所建立的配准模型可将配置了双摄像头的设备中的可见光图像的数据和红外图像的数据融合到一个图像中。据融合到一个图像中。据融合到一个图像中。

【技术实现步骤摘要】
可见光图像和红外图像的配准融合方法及装置


[0001]本专利技术涉及图像处理领域，具体而言，涉及一种可见光图像和红外图像的配准融合方法及装置。

技术介绍

[0002]目前存在很多红外线测温和人脸检测识别设备，这些测温和人脸检测识别设备都是固定式安装设备，其中往往红外摄像头模块与可见光摄像头模块集成在一起，这两种摄像头模块的相对位置和相对角度固定。例如采取双光(红外和可见光或白光)模组设计，由于是双光模组设计上就让两个摄像头模块中心光轴平行固定不发生改变，两个摄像头模块中心的Z轴方向的位置相同，纵向(Y轴方向)高度相同并且固定，横向(X轴方向)相对位置固定并且距离非常小，或者两个摄像头模块中心纵向(Y轴方向)高度相对位置偏差固定，横向(X轴方向)位置相同并且固定。这些固定式的红外线测温和人脸检测识别设备存在以下三个特点:两个摄像头模块中心光轴平行，两个摄像头模块Z轴的零点坐标位置相同，Y轴的零点坐标位置相同或X轴的零点坐标位置相同。
[0003]这些特点给两个不同摄像头画面的数据融合提供有利条件，但在产品设计和各种实际解决方案中存红外摄像头、可见光摄像头这两个模块不是设计在同一位置(X、Y、Z三轴零点坐标位置也不相同)。例如，应用于是穿戴式应用场景，不同高度人穿戴及不同场景应用时常常需要对可见光摄像头或红外摄像头的角度进行调整，而红外摄像头和可见光摄像头这两种摄像头模块往往又不是采用双目模组来实现，从而导致两个摄像头模块中心光轴不平行(存在夹角)，另外两个摄像头模块空间位置的X、Y、Z三轴的零点坐标位置也不相同。以上这些与这些固定式的红外线测温和人脸检测识别设备的三个特点存在明显的差异，这些差异给穿戴式设备的两个不同摄像头画面的数据融合带来了极大挑战。
[0004]现有的设备虽然配备有红外摄像头和可见光摄像头，但是没有实现双图像的配准融合，都只能做到在一种摄像头画面进行数据分析处理，设备无法自动将可见光画面的数据和红外画面的数据融合到一个图像中。

技术实现思路

[0005]本专利技术提供了一种可见光图像和红外图像的配准融合方法及装置，以至少解决相关技术中配备有双摄像头的设备无法自动将可见光画面的数据和红外画面的数据融合到一个画面中的问题。
[0006]根据本专利技术的一个方面，提供了一种可见光图像和红外图像的配准融合方法，应用于配置有可见光摄像头和红外摄像头的设备上，其中，所述红外摄像头的光轴与所述设备正视图平面垂直，该方法包括：根据所述可见光摄像头与红外摄像头的空间相对位置、转换参数、以及目标物体距离所述可见光摄像头的水平距离，建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。
[0007]在一示例性实施例中，所述配准模型为：
[0008][0009]其中，A、B、C、D分别为第一、第二、第三和第四转换参数，m、n、d分别为可见光摄像头与红外摄像头的X、Y、Z轴的空间位置相对距离，和γ分别为可见光摄像头与红外摄像头的光轴的横向夹角和纵向交角，L为目标物距离可见光摄像头的水平距离，(x
VR
，y
VR
)为可见光图像像素坐标，(x
IR
，y
IR
)为红外图像像素坐标。
[0010]在一示例性实施例中，在根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合之前，标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
[0011]在一示例性实施例中，标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角包括：选取与所述可见光摄像头的水平距离为第一设定距离的第一参照物体；通过可见光摄像头和红外摄像头同时采集所述第一参照物体的图像，并获取所述第一参照物体的相同位置在可见光图像和红外图像中的坐标；根据所述第一设定距离以及所述坐标在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
[0012]在一示例性实施例中，可通过如下公式标定所述配准模型中两摄像头的光轴的横向夹角和纵向交角γ：
[0013][0014][0015]其中，L
C
为第一设定距离，(x
VR
‑
C
,y
VR
‑
C
)为第一参照物体的相同位置在可见光图像中的坐标，第一参照物体的相同位置在红外图像中的坐标(x
IR
‑
C
,y
IR
‑
C
)。
[0016]在一示例性实施例中，标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角包括：选取与所述可见光摄像头的水平距离为第二设定距离的第二参照物体；调整可见光摄像头的光轴使得所述第二参照物体的相同位置位于可见光图像和红外图像的特定位置；根据所述第二设定距离和所述特定位置的坐标值，在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
[0017]在一示例性实施例中，通过如下公式标定所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角γ：
[0018][0019]其中，L
C
为第二设定距离，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)；
[0020]或，
[0021]其中，L
C
为第二设定距离，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(200,100)，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐标为(0,0)。
[0022]在一示例性实施例中，在标定所述配准模型中所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角之后，还包括以下步骤：将所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角代入所述配准模型中，建立所述可见光图像与红外图像的高度和宽度映射模型；基于所述目标物体与所述可见光摄像头的多个不同水平距离，建立多组可见光图像中所述目标物体的指定区域的高度与所述目标物体距离所述可见光摄像头的水平距离之间的映射关系。
[0023]在一示例性实施例中，根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合包括：获取可见光图像中所述目标物体的指定区域的中心位置坐标值，以及所述可见光图像中所述目标物体的指定区域的高度和宽度，并根据所述可见光图像中所述目标物体的指定区域的高度和宽度，在所述高度和宽度映射模型中找到所述目标物体与所述可见光摄像头对应的水平距离值；将对应的水平距离值和所述目标物体的指定区域的中心位置坐标值输入到所述配准模型中，计算获得红外图像中所述目标物体的指定区域的中心位置坐标值；将可见光图像中所述目标物体的指定区域的高度和宽度输入到所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可见光图像和红外图像的配准融合方法，应用于配置有可见光摄像头和红外摄像头的设备上，其中，所述红外摄像头的光轴与所述设备正视图平面垂直，其特征在于，包括：根据所述可见光摄像头与红外摄像头的空间相对位置、转换参数以及目标物体距离所述可见光摄像头的水平距离，建立所述可见光摄像头采集的目标物体的可见光图像与所述红外摄像头采集的目标物体的红外图像的坐标位置的配准模型；根据所述配准模型将所述目标物体的可见光图像与红外图像进行配准融合。2.根据权利要求1所述的方法，其特征在于，其中，所述配准模型为：其中，A、B、C、D分别为第一、第二、第三和第四转换参数，m、n、d分别为可见光摄像头与红外摄像头的X、Y、Z轴的空间位置相对距离，和γ分别为可见光摄像头与红外摄像头光轴的横向夹角和纵向交角，L为目标物距离可见光摄像头的水平距离，(x
VR
，y
VR
)为可见光图像像素坐标，(x
IR
，y
IR
)为红外图像像素坐标。3.根据权利要求2所述的方法，其特征在于，所述配准模型中可见光摄像头与红外摄像头光轴的横向夹角和纵向交角由以下步骤得到：选取与所述可见光摄像头的水平距离为第一设定距离的第一参照物体；通过可见光摄像头和红外摄像头同时采集所述第一参照物体的图像，并获取所述第一参照物体的相同位置分别在可见光图像和红外图像中的坐标；根据所述第一设定距离、以及所述第一参照物体的相同位置分别在可见光图像和红外图像中的坐标在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。4.根据权利要求3所述的方法，其特征在于,所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角γ为：和纵向交角γ为：其中，L
C
为第一设定距离，(x
VR
‑
C
,y
VR
‑
C
)为第一参照物体的相同位置在可见光图像中的坐标，第一参照物体的相同位置在红外图像中的坐标(x
IR
‑
C
,y
IR
‑
C
)。5.根据权利要求2所述的方法，其特征在于，所述配准模型中可见光摄像头与红外摄像头光轴的横向夹角和纵向交角由以下步骤得到：：选取与所述可见光摄像头的水平距离为第二设定距离的第二参照物体；调整可见光摄像头的光轴使得所述第二参照物体的相同位置位于可见光图像和红外图像的特定位置；根据所述第二设定距离和所述特定位置的坐标值，在所述配准模型中标定所述可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角。
6.根据权利要求5所述的方法，其特征在于,所述配准模型中可见光摄像头的光轴与红外摄像头的光轴的横向夹角和纵向交角γ为：其中，L
C
为第二设定距离，所述第二参照物体的相同位置位于可见光图像中的特定位置的坐...

【专利技术属性】
技术研发人员：刘若鹏，栾琳，詹建明，孙福恭，
申请(专利权)人：深圳光启空间技术有限公司，
类型：发明
国别省市：