一种基于特征对齐和关键点辅助激励的目标检测方法技术

本发明专利技术公开了一种基于特征对齐和关键点辅助激励的目标检测方法，用于基于退化热成像图进行目标检测实现目标定位，基于特征对齐和关键点辅助激励的目标检测方法，包括：获取带标签的退化热成像图以及对应的可见光图生成训练集；构建损失函数，利用训练集优化预构建的目标检测模型；利用优化后的目标检测模型处理待检测的退化热成像图，输出标记目标后的退化热成像图。本发明专利技术提供的基于特征对齐和关键点辅助激励的目标检测方法，其检测精度高，定位热成像目标精准，可拓展性强。

【技术实现步骤摘要】
一种基于特征对齐和关键点辅助激励的目标检测方法
本申请属于图像处理
，具体涉及一种基于特征对齐和关键点辅助激励的目标检测方法。
技术介绍
由于热成像在恶劣天气(黑夜、雨雪、大雾)下的稳定性，热成像图目标检测已经广泛应用于全天候自动驾驶，工业安保和国防军事领域。虽然现阶段热成像图目标检测已经取得了长足的发展，但是仍然存在一些问题。首先，热成像图存在低对比度，高噪声和单一颜色空间的退化现象。现有方法为了从退化热成像图中提取更多特征，往往采用图像预处理和特征融合的策略，此策略虽然能在一定程度上提升退化热成像图目标检测的精度，但是模型依赖融合后的特征进行后续检测。其次，退化热成像图中的目标边界模糊，而且现有深度学习方法网络高层细节信息不足，导致模型很难准确定位到热成像目标。最后，主流方法预定义的锚点框，并不能很好地覆盖热成像目标，导致模型检测精度不高。退化热成像图目标检测方法可分为传统机器学习方法和基于深度学习的方法。传统机器学习方法主要通过手工提取目标特征和使用分类器进行检测。例如引入LBP进行目标纹理分类，然后使用HOG提取特征，最后运用SVM进行检测。还有使用稀疏字典来分别计算退化热成像图的前景与背景，通过计算样本与稀疏表示之间的差异来进行加进行检测。传统机器学习方法能达到的精度有限，而且速度不快，很难实现大规模的商业化应用。随着计算机硬件技术的发展和深度学习的崛起，基于卷积神经网络的端到端的方法成为主流方法。受益于卷积神经网络的细节、语义信息提取和多尺度预测，基于此方法的检测精度大大高于传统机器学习方法。现阶段大部分基于深度学习的方法主要采取的策略是特征融合与域适应。特征融合算法主要通过融合可见光图特征与退化热成像图特征来进行训练和检测，该策略弥补了退化热成像图中特征不足的问题，检测精度相比基准也有所提高，但是应用该策略的模型对融合特征有较强的依赖性(在模型训练和检测阶段均需要融合特征)。域适应方法是通过将图像进行迁移变换，从而拉近可见光域与热成像域之间的距离，此策略能取得较高的检测精度，但是模型设计相对复杂。
技术实现思路
本申请的目的在于提供一种基于特征对齐和关键点辅助激励的目标检测方法，其检测精度高，定位热成像目标精准，可拓展性强。为实现上述目的，本申请所采取的技术方案为：一种基于特征对齐和关键点辅助激励的目标检测方法，用于基于退化热成像图进行目标检测实现目标定位，所述基于特征对齐和关键点辅助激励的目标检测方法，包括：步骤S1、获取带标签的退化热成像图以及对应的可见光图生成训练集；步骤S2、构建损失函数，利用所述训练集优化预构建的目标检测模型；步骤S3、利用优化后的目标检测模型处理待检测的退化热成像图，输出标记目标后的退化热成像图；其中，所述目标检测模型基于YOLOv3模型构建，所述目标检测模型包括骨干网络、特征对齐单元、网络优化单元和检测网络；所述骨干网络采用YOLOv3模型的Darknet53网络，所述Darknet53网络共有75层，其中包含53个卷积层，75层依次命名为Layer-0至Layer-74，在Layer-0至Layer-74中，前一层的输出作为后一层的输入，所述退化热成像图作为Darknet53网络的输入；所述特征对齐单元包括31层，31层与Darknet53网络的前31层，即Layer-0至Layer-30层相同，所述特征对齐单元的输入为与退化热成像图对应的可见光图，所述骨干网络的Layer-30层的输出和特征对齐单元Layer-30层的输出进行对齐，对齐后的特征再输入骨干网络的Layer-31层；所述网络优化单元包括特征图级联单元，所述特征图级联单元接收骨干网络Layer-4层输出的特征，然后将该特征进行下采样并与骨干网络Layer-11层输出的特征进行通道叠加得到特征C1，接着将叠加后的特征C1送入1×1卷积层，减少通道数至一半，然后进行下采样并与骨干网络Layer-36层输出的特征进行通道叠加特征C2，接着将上一步叠加得到的特征C2送入1×1卷积层，减少通道数至一半，再次下采样并与骨干网络Layer-61层输出的特征进行通道叠加得到特征C3，将特征C1、特征C2、特征C3输入检测网络；所述检测网络包括3个辅助检测器和3个YOLO检测器，辅助检测器和YOLO检测器输出的检测结果合并后得到标记目标后的退化热成像图；所述辅助检测器包括关键点辅助激励单元和全卷积一步分类回归单元，所述关键点辅助激励单元接收特征图级联单元输出的对应特征，首先将该特征在通道维度上进行平均，其次将平均后的特征乘以基于目标关键点的二值图，然后将上一步得到的特征乘以系数因子α，接着将乘以系数因子α后的特征叠加到特征图级联单元输出的对应特征的每个通道上，最后得到的特征作为所述关键点辅助激励单元的输出；所述全卷积一步分类回归单元接收关键点辅助激励单元输出的特征，该特征被送入两个分支中，每个分支包含4个卷积层，第一个分支计算分类和特征上每个位置的中心度，第二个分支回归特征上每个位置到预测的目标矩形框四边的距离(l,t,r,b)，将两个分支预测得到的分类、每个位置的中心度以及每个位置到预测的目标矩形框四边的距离(l,t,r,b)作为辅助检测器的输出。以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。作为优选，所述YOLO检测器预测(x,y,w,h,c)，其中x为预测目标中心点的横坐标，y为预测目标中心点的纵坐标，w为预测的目标矩形框的宽度，h为预测的目标矩形框的高度，c为预测的目标的分类。作为优选，所述3个YOLO检测器包括接收Layer-36层通道叠加的特征C2的52×52的检测器，接收Layer-61层通道叠加的特征C3的26×26的检测器，以及接收Layer-4层和Layer-11层通道叠加后的特征C1的104×104的检测器。作为优选，所述标记目标后的退化热成像图中采用关键点标记目标，每个目标包含5个关键点，5个关键点分别为一个目标的中心点，以及取自目标中心点十字交叉线上的四个点。作为优选，所述步骤S2中利用所述训练集优化预构建的目标检测模型，包括：基于所述训练集，采用随机梯度下降法优化目标检测模型。作为优选，所述构建损失函数，包括：L＝Lfam+Lyolo+Laux式中，L为所构建的损失函数，Lfam为特征对齐损失，Lyolo为YOLOv3损失，Laux为辅助检测器损失；其中，所述特征对齐损失Lfam的公式如下：Lfam＝(tf-vf)2式中，tf是特征对齐单元Layer-30层输出的特征图，vf是骨干网络Layer-30层输出的特征图；其中，YOLOv3损失Lyolo定义如下：Lyolo＝Lx+Ly+Lw+Lh+Lconf+Lcls式中，(Lx,Ly,本文档来自技高网...

【技术保护点】
1.一种基于特征对齐和关键点辅助激励的目标检测方法，用于基于退化热成像图进行目标检测实现目标定位，其特征在于，所述基于特征对齐和关键点辅助激励的目标检测方法，包括：/n步骤S1、获取带标签的退化热成像图以及对应的可见光图生成训练集；/n步骤S2、构建损失函数，利用所述训练集优化预构建的目标检测模型；/n步骤S3、利用优化后的目标检测模型处理待检测的退化热成像图，输出标记目标后的退化热成像图；/n其中，所述目标检测模型基于YOLOv3模型构建，所述目标检测模型包括骨干网络、特征对齐单元、网络优化单元和检测网络；/n所述骨干网络采用YOLOv3模型的Darknet53网络，所述Darknet53网络共有75层，其中包含53个卷积层，75层依次命名为Layer-0至Layer-74，在Layer-0至Layer-74中，前一层的输出作为后一层的输入，所述退化热成像图作为Darknet53网络的输入；/n所述特征对齐单元包括31层，31层与Darknet53网络的前31层，即Layer-0至Layer-30层相同，所述特征对齐单元的输入为与退化热成像图对应的可见光图，所述骨干网络的Layer-30层的输出和特征对齐单元Layer-30层的输出进行对齐，对齐后的特征再输入骨干网络的Layer-31层；/n所述网络优化单元包括特征图级联单元，所述特征图级联单元接收骨干网络Layer-4层输出的特征，然后将该特征进行下采样并与骨干网络Layer-11层输出的特征进行通道叠加得到特征C1，接着将叠加后的特征C1送入1×1卷积层，减少通道数至一半，然后进行下采样并与骨干网络Layer-36层输出的特征进行通道叠加特征C2，接着将上一步叠加得到的特征C2送入1×1卷积层，减少通道数至一半，再次下采样并与骨干网络Layer-61层输出的特征进行通道叠加得到特征C3，将特征C1、特征C2、特征C3输入检测网络；/n所述检测网络包括3个辅助检测器和3个YOLO检测器，辅助检测器和YOLO检测器输出的检测结果合并后得到标记目标后的退化热成像图；/n所述辅助检测器包括关键点辅助激励单元和全卷积一步分类回归单元，所述关键点辅助激励单元接收特征图级联单元输出的对应特征，首先将该特征在通道维度上进行平均，其次将平均后的特征乘以基于目标关键点的二值图，然后将上一步得到的特征乘以系数因子α，接着将乘以系数因子α后的特征叠加到特征图级联单元输出的对应特征的每个通道上，最后得到的特征作为所述关键点辅助激励单元的输出；/n所述全卷积一步分类回归单元接收关键点辅助激励单元输出的特征，该特征被送入两个分支中，每个分支包含4个卷积层，第一个分支计算分类和特征上每个位置的中心度，第二个分支回归特征上每个位置到预测的目标矩形框四边的距离(l,t,r,b)，将两个分支预测得到的分类、每个位置的中心度以及每个位置到预测的目标矩形框四边的距离(l,t,r,b)作为辅助检测器的输出。/n...

【技术特征摘要】
1.一种基于特征对齐和关键点辅助激励的目标检测方法，用于基于退化热成像图进行目标检测实现目标定位，其特征在于，所述基于特征对齐和关键点辅助激励的目标检测方法，包括：
步骤S1、获取带标签的退化热成像图以及对应的可见光图生成训练集；
步骤S2、构建损失函数，利用所述训练集优化预构建的目标检测模型；
步骤S3、利用优化后的目标检测模型处理待检测的退化热成像图，输出标记目标后的退化热成像图；
其中，所述目标检测模型基于YOLOv3模型构建，所述目标检测模型包括骨干网络、特征对齐单元、网络优化单元和检测网络；
所述骨干网络采用YOLOv3模型的Darknet53网络，所述Darknet53网络共有75层，其中包含53个卷积层，75层依次命名为Layer-0至Layer-74，在Layer-0至Layer-74中，前一层的输出作为后一层的输入，所述退化热成像图作为Darknet53网络的输入；
所述特征对齐单元包括31层，31层与Darknet53网络的前31层，即Layer-0至Layer-30层相同，所述特征对齐单元的输入为与退化热成像图对应的可见光图，所述骨干网络的Layer-30层的输出和特征对齐单元Layer-30层的输出进行对齐，对齐后的特征再输入骨干网络的Layer-31层；
所述网络优化单元包括特征图级联单元，所述特征图级联单元接收骨干网络Layer-4层输出的特征，然后将该特征进行下采样并与骨干网络Layer-11层输出的特征进行通道叠加得到特征C1，接着将叠加后的特征C1送入1×1卷积层，减少通道数至一半，然后进行下采样并与骨干网络Layer-36层输出的特征进行通道叠加特征C2，接着将上一步叠加得到的特征C2送入1×1卷积层，减少通道数至一半，再次下采样并与骨干网络Layer-61层输出的特征进行通道叠加得到特征C3，将特征C1、特征C2、特征C3输入检测网络；
所述检测网络包括3个辅助检测器和3个YOLO检测器，辅助检测器和YOLO检测器输出的检测结果合并后得到标记目标后的退化热成像图；
所述辅助检测器包括关键点辅助激励单元和全卷积一步分类回归单元，所述关键点辅助激励单元接收特征图级联单元输出的对应特征，首先将该特征在通道维度上进行平均，其次将平均后的特征乘以基于目标关键点的二值图，然后将上一步得到的特征乘以系数因子α，接着将乘以系数因子α后的特征叠加到特征图级联单元输出的对应特征的每个通道上，最后得到的特征作为所述关键点辅助激励单元的输出；
所述全卷积一步分类回归单元接收关键点辅助激励单元输出的特征，该特征被送入两个分支中，每个分支包含4个卷积层，第一个分支计算分类和特征上每个位置的中心度，第二个分支回归特征上每个位置到预测的目标矩形框四边的距离(l,t,r,b)，将两个分支预测得到的分类、每个位置的中心度以及每个位置到预测的目标矩形框四边的距离(l,t,r,b)作为辅助检测器的输出。


2.如权利要求1所述的基于特征对齐和关键点辅助激励的目标检测方法，其特征在于，所述YOLO检测器预测(x,y,w,h,c)，其中x为预测目标中心点的横坐标，y为预测目标中心点的纵坐标，w为预测的目标矩形框的宽度，h为预测的目标矩形框的高度，c为预测的目标的分类。


3.如权利要求1所述的基于特征对齐和关键点辅助激励的目标检测方法，其特征在于，所述3个YOLO检测器包括接收Layer-36层通道叠加的特征C2的52×52的...

【专利技术属性】
技术研发人员：刘盛，金坤，叶焕然，程豪豪，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33