一种可见光红外图像融合目标检测实例分割方法技术

本发明专利技术提出了一种可见光红外图像融合目标检测实例分割方法，将红外图像与可见光图像配准，对红外图像与可见光光图像中的相同目标进行标定，依据标定结果对红外图像进行平移、缩放，得到红外配准图像；使用yolov5神经网络在红外配准图像中提取目标位置坐标；使用mask_rcnn神经网络在红外配准图像中提取mask掩膜；依据目标位置坐标确定融合范围，采用ADF图像融合方法对可见光图像与红外配准图像进行融合；对融合图像赋予伪彩色，并使用mask掩膜进行实例分割。本发明专利技术对于背景部分保留了可见光大视场的优势，对于目标部分结合了红外恶劣环境可见度高，以及可见光空间细节的优势。以及可见光空间细节的优势。以及可见光空间细节的优势。

【技术实现步骤摘要】
一种可见光红外图像融合目标检测实例分割方法


[0001]本专利技术涉及计算视觉领域，特别是涉及一种可见光红外图像融合目标检测实例分割方法。

技术介绍

[0002]视觉信息作为人类重要的获取信息渠道，人类获取的信息83%来自视觉信息。而视觉传感器作为辅助人类获取视觉信息的工具，在人类的生产生活中占据了重要的地位。然而面对复杂多变的自然环境，单一视觉传感器所得信息拥有极大的局限性，图像融合技术应运而生。
[0003]红外成像器件与可见光成像器件在成像器件领域受到了广泛的关注。可见光图像是依靠物体反射光成像，所产生图像适合人眼观测，具有较高的空间分辨率、相当多的细节和明暗对比，但是容易受到光照差、雾和其他恶劣天气等极端环境干扰。红外图像依靠物体物体热辐射成像，光照差、雾和其他恶劣天气的情况下，拥有良好的成像效果，但相比于可见光成像器件空间分辨率较低，细节也会有所降低。将红外图像与可见光图像进行融合，可以综合二者优势，产生出细节丰富，同时适合恶劣天气的图像。但全幅图像的融合会使得图像融合耗时长，比如对于城市交通情况，一般只需要关心，行人，车辆，自行摩托车等目标，对于背景的道路，广告牌，天空等目标融合会产生极大的亢余。

技术实现思路

[0004]本专利技术的目的在于提供一种可见光红外图像融合目标检测实例分割方法，只针对关心的目标分割出相应实例。
[0005]实现本专利技术目的的技术解决方案为：一种可见光红外图像融合目标检测实例分割方法，步骤如下：步骤1，将红外图像与可见光图像配准，对红外图像与可见光光图像中的相同目标进行标定，依据标定结果对红外图像进行平移、缩放，得到红外配准图像；步骤2，使用yolov5神经网络在红外配准图像中提取目标位置坐标；步骤3，使用mask_rcnn神经网络在红外配准图像中提取mask掩膜；步骤4，依据目标位置坐标确定融合范围，采用ADF图像融合方法对可见光图像与红外配准图像进行融合；步骤5，对融合图像赋予伪彩色，并使用mask掩膜进行实例分割。
[0006]进一步的，步骤1，将红外图像与可见光图像配准，对红外图像与可见光光图像中的相同目标进行标定，依据标定结果对红外图像进行平移、缩放，得到红外配准图像，具体方法为：选取同时拍摄的可见光图像与红外图像各一张，于两张图像中分别选取12组标定点记录坐标为x
ir_i，
y
ir_i
与x
vis_i，
y
vis_i
(i是∈[1，12])，其中下标为ir代表是红外图像的标记点，vis代表可见光图像标记点，i代表组数，对于每个标定点，要求现实空间位置相同，12组
标记点中4组来自近景目标，4组来自中景目标，4组来自远景目标；计算标定点的欧氏距离之和：通过操控红外图像平移缩放，使得标定点的欧氏距离之和最小，将平移缩放量记录下来，对所有红外图像进行相同变换，获得红外配准图像。
[0007]进一步的，步骤2，使用yolov5神经网络在红外配准图像中获取目标位置坐标，具体方法为：(a)使用flir数据集对yolov5神经网络进行训练；使用flir数据集中的小型车辆、自行车辆、行人三种标签对yolov5神经网络进行训练，训练中采用Mosaic数据增强，随机选取4张红外图像，通过随机缩放、随机裁剪、随机排布的方式组成一张全新图片，将原始flir数据集图像与Mosaic数据增强后所得到的图像组成训练集输入yolov5神经网络中进行训练，获得训练权重；(b)使用yolov5神经网络进行目标检测；将配准红外图像采用最小黑边缩放，最小黑边缩放计算方法如下：其中m,n是原始的输入图像长宽系数，t为yolov5神经网络输入需要的图像边长，a
1，
a2是原始图像相对于yolov5神经网络需要图像输入的长宽缩放系数；将配准红外图像使用比例m
new
、n
new
进行缩放；其中a
min
是a
1，
a2中的较小值；在上下边填充长为c的黑框，填充边宽度计算公式为：，其中c为填充黑边大小；加载(a)中训练获得权重，将缩放填充后的红外配准图像输入yolov5神经网络之中，输出目标位置坐标(x1,x2,y1,y2,c),x1,y1为目标左上角点坐标，x2,y2为目标右下角点坐标，c为目标分类。
[0008]进一步的，步骤3，使用mask_rcnn神经网络在红外图像中提取mask掩膜，包括：使用coco数据集进行mask_rcnn神经网络训练，获得训练权重；加载(a)中训练权重，将红外配准图像输入mask_rcnn神经网络中获得mask掩膜。
[0009]进一步的，步骤4，依据目标位置坐标确定融合范围，采用ADF图像融合方法对可见光图像与红外配准图像进行融合，具体方法为：步骤4.1，以x1,y1为左上角点坐标，x2,y2为右下角点坐标，构建目标位置坐标矩形框，对可见光图像与红外配准图像使用目标位置坐标矩形框选取待融合可见光图像与待融
合红外图像，使用ADF图像融合方法；步骤4.2，将可见光图像与红外配准图像进行各向异性滤波，得到可见光图像基础层B
vis
与红外配准图像基础层B
ir
，其中各向异性滤波对进行图像分解具体操作为：其中I
t+1
为输出图像，I
t
为输入图像，c是扩散速率，∨是梯度运算符，Δ是拉普拉斯算符，t是设置迭代次数；步骤4.3，将待融合可见光图像减去可见光图像基础层获得可见光图像细节层，将待融合红外图像减去红外图像基础层获得红外图像细节层，其中红外图像细节层计算为：可见光图像细节层为：其中I
vis
与I
ir
分别为待融合可见光图像与红外配准图像；步骤4.4，将可见光图像细节层与红外配准图像细节层分别排列为X
vis
与X
ir
的列向量矩阵，找到X
vis
与X
ir
的协方差矩阵C
xx
，计算协方差矩阵C
xx
特征值集合w1、w2与特征向量集合：选取w1、w2中较大的特征值为w
max
，选取w
max
对应的特征向量v
max
，求得细节层不相关组件系数，KL1为可见光图像细节层不相关组件系数，KL2为红外图像细节层不相关组件系数：融合图像细节层：融合图像基础层：融合图像：。
[0010]进一步的，步骤5，对融合图像赋予伪彩色，并使用mask掩膜进行实例分割，具体方法为：对融合后图像使用COLORMAP_JET进行伪彩色处理，获取彩色融合图像，将可见光图像目标位置坐标矩形框内图像替换为彩色融合图像，获取全局彩色融合图像，使用mask掩膜取反与可见光图像叠加获得可见光背景图像，将mask掩膜与全局彩色融合图像叠加获
取全局彩色融合图像实例分割部分，再将全局彩色融合图像实例分割部分与可见光背景图像叠加获得最终结果。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可见光红外图像融合目标检测实例分割方法，其特征在于，步骤如下：步骤1，将红外图像与可见光图像配准，对红外图像与可见光光图像中的相同目标进行标定，依据标定结果对红外图像进行平移、缩放，得到红外配准图像；步骤2，使用yolov5神经网络在红外配准图像中提取目标位置坐标；步骤3，使用mask_rcnn神经网络在红外配准图像中提取mask掩膜；步骤4，依据目标位置坐标确定融合范围，采用ADF图像融合方法对可见光图像与红外配准图像进行融合；步骤5，对融合图像赋予伪彩色，并使用mask掩膜进行实例分割。2.根据权利要求1所述的可见光红外图像融合目标检测实例分割方法，其特征在于：步骤1，将红外图像与可见光图像配准，对红外图像与可见光光图像中的相同目标进行标定，依据标定结果对红外图像进行平移、缩放，得到红外配准图像，具体方法为：选取同时拍摄的可见光图像与红外图像各一张，于两张图像中分别选取12组标定点记录坐标为x
ir_i
,y
ir_i
与x
vis_i
,y
vis_i
(i是∈[1，12])，其中下标为ir代表是红外图像的标记点，vis代表可见光图像标记点，i代表组数，对于每个标定点，要求现实空间位置相同，12组标记点中4组来自近景目标，4组来自中景目标，4组来自远景目标；计算标定点的欧氏距离之和：通过操控红外图像平移缩放，使得标定点的欧氏距离之和最小，将平移缩放量记录下来，对所有红外图像进行相同变换，获得红外配准图像。3.根据权利要求1所述的可见光红外图像融合目标检测实例分割方法，其特征在于，其特征在于：步骤2，使用yolov5神经网络在红外配准图像中获取目标位置坐标，具体方法为：(a)使用flir数据集对yolov5神经网络进行训练；使用flir数据集中的小型车辆、自行车辆、行人三种标签对yolov5神经网络进行训练，训练中采用Mosaic数据增强，随机选取4张红外图像，通过随机缩放、随机裁剪、随机排布的方式组成一张全新图片，将原始flir数据集图像与Mosaic数据增强后所得到的图像组成训练集输入yolov5神经网络中进行训练，获得训练权重；(b)使用yolov5神经网络进行目标检测；将配准红外图像采用最小黑边缩放，最小黑边缩放计算方法如下：其中m,n是原始的输入图像长宽系数，t为yolov5神经网络输入需要的图像边长，a1,a2是原始图像相对于yolov5神经网络需要图像输入的长宽缩放系数；将配准红外图像使用比例m
new
、n
new
进行缩放；其中a
min
是a1,a2中的较小值；
在上下边填充长为c的黑框，填充边宽度计算公式为：，其中c为填充黑边大小；加载(a)中训练获得权重，将缩放填充后的红外配准图像输入yolov5神经网络之中，输出目标位置坐标(x1,x2,y1,y2,c),x1,y1为目标左上角点坐标，x2,y2为目标右下角点坐标，c为目标分类。4.根据权利要求3所述的可见光红外图像融合目标检测实例分割方法，其特征在于，其特征在于：步骤3，使用mask_rcnn神经网络在红外图像中提取mask掩膜，包括：使用coco数据集进行mask_rcnn神经网络训练，获得训练权重；加载(a...

【专利技术属性】
技术研发人员：任侃，赵俊逸，钱惟贤，顾国华，陈钱，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：