一种基于彩色相机与红外热成像仪特征融合的目标检测方法技术

本发明专利技术公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法，包括以下步骤：a、通过彩色相机获得彩色数据集，通过红外热成像仪获得热红外数据集；b、将双模态数据集同时输入到双模态的YOLOv3神经网络算法中，提取目标的颜色特征与温度特征；在主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合，然后选取融合后的特征图继续进行主干网络的特征提取，得到融合后的提取特征图；c、融合后的提取特征图输入到后续的卷积层中进行目标的分类，输出训练完成的双模态神经网络的算法模型。本发明专利技术融合温度与颜色信息，在双模态神经主干网络算法进行融合，输入分类层中进行目标的预测，增加目标的多种特征信息，提高目标识别准确性。

【技术实现步骤摘要】
一种基于彩色相机与红外热成像仪特征融合的目标检测方法
本专利技术涉及人工智能
，具体涉及一种基于彩色相机与红外热成像仪特征融合的目标检测方法。
技术介绍
在背景多变、地形地物遮挡等复杂地形环境中，以及在雨天、雾霾、黑暗等能见度低的自然环境中，使用传统目标识别方案准确率低，不能满足自动驾驶的需求。这是由于彩色相机对光线特别的敏感，神经网络无法提取到目标完整的特征，故一味的提升网络算法也无法提高目标识别的准确率。为了保证自动驾驶车辆能够及时地、精确地感知路面环境中存在的安全隐患，快速采取措施，避免发生交通事故，往往采取多传感器联合观测的方法。目前自动驾驶车辆感知平台主要包含激光雷达、彩色相机、红外热成像仪、毫米波雷达等传感器。其中，激光雷达主要通过雷达扫描车辆周围环境来获得三维距离信息，通过距离分析识别技术对行驶路况进行感知，它能够获得物体的三维距离信息，具有很高的测量精度且不受环境的影响，但是其价格昂贵，也不能获得目标的形态特征。毫米波雷达主要也是用来获得目标的距离信息，它具有波长短、频带宽、穿透能力强等特点，并且其体积小巧，识别精本文档来自技高网...

【技术保护点】
1.一种基于彩色相机与红外热成像仪特征融合的目标检测方法，其特征在于包括以下步骤：/na、通过彩色相机获得彩色数据集，通过红外热成像仪获得热红外数据集；/nb、将所述彩色数据集和热红外数据集组成的双模态数据集同时输入到双模态的YOLOv3神经网络算法中，提取目标的颜色特征与温度特征；在YOLOv3主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合，然后选取融合后的特征图继续进行主干网络的特征提取，得到融合后的提取特征图；/nc、融合后的提取特征图输入到后续的卷积层中进行目标的分类，最终输出一个训练完成的双模态神经网络的算法模型。/n

【技术特征摘要】
1.一种基于彩色相机与红外热成像仪特征融合的目标检测方法，其特征在于包括以下步骤：
a、通过彩色相机获得彩色数据集，通过红外热成像仪获得热红外数据集；
b、将所述彩色数据集和热红外数据集组成的双模态数据集同时输入到双模态的YOLOv3神经网络算法中，提取目标的颜色特征与温度特征；在YOLOv3主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合，然后选取融合后的特征图继续进行主干网络的特征提取，得到融合后的提取特征图；
c、融合后的提取特征图输入到后续的卷积层中进行目标的分类，最终输出一个训练完成的双模态神经网络的算法模型。


2.根据权利要求1所述的基于彩色相机与红外热成像仪特征融合的目标检测方法，其特征在于：所述双模态的YOLOv3神经网络算法包括双通道的输入层；输入层的一个通道输入彩色数据集，另一个通道输入热红外数据集。


3.根据权利要求2所述的基于彩色相机与红外热成像仪特征融合的目标检测方法，其特征在于：所述双模态的YOLOv3神经网络算法包括主干网络及后续的卷积层；所述主干网络为Darknet-53，共计52层；所述后续的卷积层共计23层。


4.根据权利要求3所述的基于彩色相机与红外热成像仪特征融合的目标检测方法，其特征在于：步骤b中所述融合函数的公式为yi＝f(pi,qi)；
其中pi为某一层的彩色数据集的特征图矩阵，维度是n×c1×h×w；qi为某一层的热红外数据集的特征图矩阵，维度是n×c2×h×w；
n表示图像数量，h表示特征图矩阵的高度，w表示特征图矩阵的宽度，c1表示彩色数据集的特征图矩阵的通道数，c2表示热红外数据集的特征图矩阵的通道数；
经过融合函数后得到的yi矩阵的维度为n×c0×h×w，其中c0＝c1+c2。


5.根据权利要求4所述的基于彩色相机与红外热成像仪特征融合的目标检测方法，其特征在于：所述步骤b可采用如下任意一种方案：
方案一、
b.1、在主干网络的第1层通过融合函数与1×1卷积块进行融合；
将所述彩色数据集和热红外数据集同时输入到双模态的YOLOv3神经网络算法的第一层，通过融合函数将两个模态的数据集图像进行线性叠加，得到叠加数据集；所述彩色数据集的维度是n×c1×h×w，所述热红外数据集的维度是n×c2×h×w，叠加数据集的维度是n×c0×h×w；其中c0＝c1+c2；
所述1×1卷积块包括3个维度为c0×1×1的卷积核函数和激活函数；
每一个卷积核进行图像特征的提取时，c0×1×1的卷积核分别与叠加数据集图像上每个单位区域的c0×1×1的局部矩阵进行加权求和，输出的矩阵维度为1×1×1；则经过加权求和以后的单个图像矩阵维度变为1×h×w；
叠加数据集的每个图像经过加权求和以后得到的矩阵，通过激活函数运算，输出融合后图像的矩阵为n×3×h×w；
b.2、将融合后图像矩阵继续输入原主干网络的52层进行特征提取的操作，提取到的特征从浅层单个线条与颜色等边缘性特征继而到深层图像上某一部分的深层语义特征；由于网络算法增加了一层1×1卷积层，所以其他层的卷积层序号依次增加1，网络第26层输出第一提取特征图，第43层输出第二提取特征图，第52层输出第三提取特征图；其中第一提取特征图的矩阵维度是n×256×h/8×w/8，第二提取特征图的矩阵维度是n×512×h/16×w/16、第三提取特征图的矩阵维度是n×1024×h/32×w/32，至此，Darknet-53卷积层执行结束；
方案二、
b.1、将所述彩色数据集和热红外数据集同时输入到双模态的YOLOv3神经网络算法，利用主干网络的前25个卷积层分别进行双模态数据集的特征提取，通过卷积操作提取到从浅层单个线条与颜色等边缘性特征，继而到深层图像上某一部分的深层语义特征；经过前25层卷积后，彩色数据集和热红外数据集的特征图输出矩阵均为n×256×h/8×w/8；
b.2、将第25层输出的两个模态的数据集图像通过融合函数与1×1卷积块进行融合；
通过融合函数将第25层输出的两个模态的数据集图像进行线性叠加，得到叠加数据集；所述叠加数据集的维度是n×512×h/8×w/8；
所述1×1卷积块包括256个维度为512×1×1的卷积核函数和激活函数；
每一个卷积核进行图像特征的提取时，512×1×1的卷积核分别与叠加数据集图像上每个单位区域的512×1×1的局部矩阵进行加权求和，输出的矩阵维度为1×1×1；则经过加权求和以后的单个图像矩阵维度变为1×h/8×w/8；
叠加数据集的每个图像经过加权求和以后得到的矩阵，通过激活函数运算，输出第一提取特征图的矩阵为n×256×h/8×w/8；
b.3、将第一提取特征图的矩阵继续输入到主干网络剩下的卷积层中继续进行特征的提取，由于在第26层增加了一层1×1卷积，所以主干网络26层之后的卷积层层数序号依次加一；第43层输出第二提取特征图，第52层输出第三提取特征图；其中第二提取特征图的矩阵维度是n×512×h/16×w/16、第三提取特征图的矩阵维度是n×1024×h/32×w/32，至此，Darknet-53卷积层执行结束；
方案三、
b.1、将所述彩色数据集和热红外数据集同时输入到双模态的YOLOv3神经网络算法，利用主干网络的前42个卷积层分别进行双模态数据集的特征提取，通过卷积操作提取到从浅层单个线条与颜色等边缘性特征，继而到深层图像上某一部分的深层语义特征；
b.2、第25层卷积后，彩色数据集和热红外数据集的特征图输出矩阵均为n×256×h/8×w/8；
将第25层输出的两个模态的数据集图像通过融合函数与1×1卷积块进行融合；
通过融合函数将第25层输出的两个模态的数据集图像进行线性叠加，得到叠加数据集；所述叠加数据集的维度是n×512×h/8×w/8；
第25层使用的所述1×1卷积块包括256个维度为512×1×1的卷积核函数和激活函数；
每一个卷积核进行图像特征的提取时，512×1×1的卷积核分别与叠加数据集图像上每个单位区域的512×1×1的局部矩阵进行加权求和，输出的矩阵维度为1×1×1；则经过加权求和以后的单个图像矩阵维度变为1×h/8×w/8；
叠加数据集的每个图像经过加权求和以后得到的矩阵，通过激活函数运算，输出第一提取特征图的矩阵为n×256×h/8×w/8；
b.3、第42层卷积后，彩色数据集和热红外数据集的特征图输出矩阵均为n×512×h/16×w/16；
将第42层输出的两个模态的数据集图像通过融合函数与1×1卷积块进行融合；
通过融合函数将第42层输出的两个模态的数据集图像进行线性叠加，得到叠加数据集；所述叠加数据集的维度是n×102...

【专利技术属性】
技术研发人员：殷国栋，吴愿，薛培林，耿可可，庄伟超，黄文涵，沈童，于晨风，邹伟，卢彦博，王金湘，张宁，陈建松，任祖平，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32