【技术实现步骤摘要】
本专利技术属于图像融合，具体涉及基于可穿戴头盔的红外图像和可见光图像配准融合方法。
技术介绍
1、红外与可见光图像融合的目的是合成一幅融合图像，该图像不仅包含可见光图像中丰富的环境细节信息，也包含红外图像中热源物体显著的信息。这样无论是在正常亮度的环境下又或是低光照环境下都能获得有丰富信息的图像。所有融合方法都需要可见光图像和红外图像完全配准，但现实中特别是可穿戴头盔上的红外相机和可见光相机往往所处的位置不同，角度不同，分辨率不同，焦距不同，这样拍摄的可见光图像和红外图像差别会很大。因此需要先将可见光图像和红外图像进行配准，才能完成融合任务。
2、基于特征的图像配准方法是目前图像配准算法中常用方法包括三个步骤：关键点检测和特征描述，特征匹配，图像变换，如尺度不变特征变换(scale invariant featuretransform,sift)图像配准算法。sift算法利用图像的尺度空间检测特征点，采用128维描述向量对特征点进行描述，并根据特征点的描述向量进行特征点匹配。该方法对于图像的平移、旋转、光照和尺度变换具有不变性，能够很好地适用于图像配准应用。但在采用基于特征的图像配准方法将红外和可见光图像进行配准时，由于红外相机利用场景的红外辐射进行成像，使红外图像存在局部或全局对比度反转问题，导致红外图像中特征点描述和可见光图像中特征点的描述存在较大差异，无法完成与可见光图像的特征点匹配。异源图像传感器所采集到的图像在视觉方面存在较大差异，这种差异性体现在红外图像中为对比度反转现象，可见光图像中标注的红色和绿色矩形
3、近些年来深度学习技术也逐渐用于图像配准，如2018年，yang等人开发了一种基于相同思想的非刚性配准方法。他们使用预训练的vgg网络层来生成一个特征描述符，同时保留卷积信息和局部特征。这些描述符的性能也优于类似sift的探测器，特别是在sift包含许多异常值或无法匹配足够数量特征点的情况下。但依然不能解决红外图像中对比度反转导致配准失败的问题。而且这种方法往往只能处理好差别不大的红外和可见光图像的配准，对于位置，角度，分辨率，焦距差别较大的红外图像和可见光图像不能胜任。
技术实现思路
1、本专利技术为了解决现有技术中存在的无法对位置，角度，分辨率，焦距不同的红外图像和可见光图像精确配准的技术问题，提出基于可穿戴头盔的红外图像和可见光图像配准融合方法。
2、为实现上述目的，本专利技术通过以下技术方案实现：
3、一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，包括如下步骤：
4、s1、利用可穿戴头盔拍摄环境中的人，从可穿戴头盔的红外相机得到红外图像，可见光相机上得到可见光图像；
5、s2、将步骤s1得到的红外图像、可见光图像分别输入到shm网络进行人像抠图，得到红外人像图像、可见光人像图像；
6、s3、分别采集步骤s2得到的红外人像图像、可见光人像图像中人像的顶部像素点，最左侧像素点，最右侧像素点，然后基于红外人像图像相比于可见光人像图像的缩放因子调整红外人像图像，得到调整比例的红外人像图像；
7、s4、分别采集步骤s3得到的调整比例的红外人像图像、步骤s2得到的可见光人像图像的人像的最顶点为配准点，对步骤s3得到的调整比例的红外人像图像、步骤s2得到的可见光人像图像进行像素点配准；
8、s5、基于步骤s3得到的红外人像图像的缩放因子对步骤s1的红外图像进行变换，得到变换后的红外图像；
9、s6、基于步骤s4得到的像素点配准，对步骤s1得到的可见光图像进行图像裁剪，得到裁剪后的可见光图像、裁剪后的原图像；
10、s7、将步骤s5得到的变换后的红外图像和步骤s6得到的裁剪后的可见光图像进行图像融合，得到融合图像；
11、s8、将步骤s7得到的融合图像填充到步骤s6得到的裁剪后的原图像，得到基于可穿戴头盔的红外图像和可见光图像配准融合图像；
12、s9、采集可穿戴头盔的红外相机得到红外图像，可见光相机上得到可见光图像，重复步骤s5-s8，进行基于可穿戴头盔的红外图像和可见光图像配准融合。
13、进一步的，步骤s2中在shm网络进行人像抠图的具体实现方法包括如下步骤：
14、s2.1、将图像输入到shm网络中的t-net网络中进行训练，将图像分为前景图片f，背景图片b、不确定图片u，得到像素点分别属于前景图片概率fs，背景图片概率bs，不确定图片概率us的计算表达式为：
15、
16、
17、
18、s2.2、将前景图片f和原始图片的通道叠加，形成4通道的图片送入shm网络中的m-net网络进行训练，获得二值图片ap，计算表达式为：
19、
20、其中，ar为t-net网络的输出结果；
21、s2.3、将步骤s2.2得到的二值图片ap乘以不确定图片u获取ap中的边缘细节纹理信息，然后叠加前景图片f，得到人像图像；
22、s2.4、将步骤s1得到的红外图像、可见光图像分别输入到shm网络重复步骤s2.1-s2.3进行人像抠图，得到红外人像图像、可见光人像图像。
23、进一步的，步骤s3的具体实现方法包括如下步骤：
24、s3.1、遍历步骤s2得到的红外人像图像，采集红外人像图像的顶部像素(xtop，ytop)、最左侧像素(xleft，yleft)、最右边像素(xright，yright)；
25、s3.2、历步骤s2得到的可见光人像图像，采集可见光人像图像的顶部像素(mtop，ntop)、最左侧像素(mleft，nleft)、最右侧像素(mright，nright)；
26、s3.3、计算红外人像图像的缩放因子，计算公式为：
27、
28、其中，a为红外人像图像的水平方向的缩放因子，mright为可见光人像图像的水平方向的最右侧像素，mleft为可见光人像图像的水平方向的最左侧像素，xright为红外人像图像的水平方向的最右侧像素，xleft为红外人像图像的水平方向的最左侧像素；
29、
30、其中，b为红外人像图像的竖直方向的缩放因子，ytop为红外人像图像的竖直方向的顶部像素，yleft为红外人像图像的竖直方向的最左侧像素，ntop为可见光人像图像的竖直方向的顶部像素，nleft为可见光人像图像的竖直方向的最左侧像素；
31、s3.4、利用步骤s3.3得到的红外人像图像的缩放因子对步骤s2得到的红外人像图像进行调整，得到调整比例的红外人像图像，采集调整比例的红外人像图像的顶部像素为(ixt本文档来自技高网...
【技术保护点】
1.一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤S2中在SHM网络进行人像抠图的具体实现方法包括如下步骤：
3.根据权利要求1或2所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤S3的具体实现方法包括如下步骤：
4.根据权利要求3所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤S4的具体实现方法为将步骤S3得到的调整比例的红外人像图像的顶部像素(Ixtop，Iytop)和可见光人像图像的顶部像素(Mtop，Ntop)作为配准点，得到可见光图像的像素点与调整比例的红外人像图像的像素点配准的公式为：
5.根据权利要求4所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤S5的具体实现方法为利用计算机视觉库修改图像分辨率的函数计算得到变换后的图像，计算公式为：
6.根据权利要求5所述的一种基于可穿戴头盔的红外图像和可见
7.根据权利要求6所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤S7的具体实现方法包括如下步骤：
8.根据权利要求7所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤S7.1中卷积层为两个3×3的卷积层和一个1×1卷积层，卷积层的核大小为1×1。
9.根据权利要求8所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤S7.3中的图像重建器由三层3×3卷积层和一层1×1卷积层组成。
10.根据权利要求9所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，3×3卷积层使用LReLU为激活函数，1×1卷积层使用Tanh为激活函数。
...【技术特征摘要】
1.一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤s2中在shm网络进行人像抠图的具体实现方法包括如下步骤：
3.根据权利要求1或2所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤s3的具体实现方法包括如下步骤：
4.根据权利要求3所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤s4的具体实现方法为将步骤s3得到的调整比例的红外人像图像的顶部像素(ixtop，iytop)和可见光人像图像的顶部像素(mtop，ntop)作为配准点，得到可见光图像的像素点与调整比例的红外人像图像的像素点配准的公式为：
5.根据权利要求4所述的一种基于可穿戴头盔的红外图像和可见光图像配准融合方法，其特征在于，步骤s5的具体实现方法为利用计算机视觉库修改图像分辨率的函数计算得到变换后的图像，计算公式为：
6.根据权利要求5所述的一种基于可穿戴头盔的红外图像和可见光...
【专利技术属性】
技术研发人员：张展，左德承，陈中沅，冯懿，封威，温冬新，舒燕君，董剑，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。