一种基于无人机拍摄夜间低对比度的车辆重检测方法技术

本发明专利技术属于车辆重检测技术领域，涉及一种基于无人机拍摄夜间低对比度的车辆重检测方法，先对数据集中的数据进行视觉信息和红外信息特征提取，然后采用基于弱监督进行车辆定位后将结果输入GAN网络中，得到高质量的视觉信息和高质量的红外信息并进行特征提取后对特征融合，最后输出高维度车辆特征向量，即为车辆重识别结果；能够克服夜晚和复杂条件下的车辆重检测，不受应用场景的限制，节省人力财力物力。物力。物力。

【技术实现步骤摘要】
一种基于无人机拍摄夜间低对比度的车辆重检测方法


[0001]本专利技术属于车辆重检测
，尤其涉及一种基于无人机拍摄夜间低对比度的车辆重检测方法。

技术介绍

[0002]车辆重识别是计算机视觉领域中非常活跃的研究领域，目前，车辆重识别包含车辆的分类、车辆的检测和车辆的分割等场景，车辆重识别旨在通过给定的车辆图片，查找与当前车辆图片属于相同车辆的图片，车辆重识别的研究越来越多，与人员重识别的研究具有相同的目的，然而，车辆重识别的研究更加复杂，目前大多数的车辆重识别算法依赖于车辆的外观信息，但是，采用这种基于车辆外观的方式具有非常大的局限性，因为车辆的外观经常具有非常相似的外形和颜色，而且车辆可能在夜间出现，这种情况下，如果基于外表和颜色信息将出现失效问题。
[0003]随着多模态传感器的普及，目前，基于可见光热红外的车辆重检测将在车辆温度信息的指导下实现更高的性能，但是当前车辆重检测的算法仅仅针对于裁剪好的车辆区域，并进行车辆之间的相似度度量，在复杂场景下的车辆重检测的相关研究非常少，而针对于无人机的车辆重检测相关研究更少。

技术实现思路

[0004]为解决上述问题，本专利技术设计提供一种新的基于无人机拍摄夜间低对比度的车辆重检测方法，针对无人机拍摄车辆进行重识别，实现查找车辆的检测与跟踪，从而实现定位查找车辆。
[0005]为实现上述目的，本专利技术实现车辆重检测的具体过程为：（1）数据集构建：采用无人机拍摄的视频数据构建数据集，无人机拍摄的视频包含集RGB信息和数据；（2）视觉信息和红外信息特征提取：将视频数据划分为单帧的数据，每帧数据包含RGB图片数据和图片数据两种数据，将RGB图片和图片分别输入多尺度特征提取网络VggNet中，从RGB图片数据中提取视觉信息特征，从图片数据中提取红外信息特征；（3）弱监督车辆定位：采用基于弱监督车辆定位的方式生成车辆位置区域；（4）基于局部区域增强的分辨率提升：将弱监督车辆定位结果输入GAN网络（Generative Adversarial Nets，生成对抗网络）中，采用基于局部区域增强的方式将图片的分辨率增加，得到高质量的视觉信息和高质量的红外信息，保证车辆在输入到网络中时，有充分的特征用于后续的车辆重检测过程；（5）分辨率提升后的视觉信息和红外信息特征提取：采用与步骤（2）相同的方式提取分辨率提升后的视觉信息特征和红外信息特征；
（6）基于注意力机制的特征融合：根据视觉特征以及红外特征其自身蕴含的像素级互信息，先计算像素级特征相似性并加权初始特征，得到视觉特征和及热红外特征的自注意力机制结果，再采用基于语义信息特征相似性的特征交互模式，将增强后的车辆区域用来加权初始车辆特征得到跨注意力结果；（7）结果输出：将步骤（6）得到的自注意力和跨注意力结果进行跨层融合并输出高维度车辆特征向量，即为车辆重识别结果；（8）网络训练和测试：为训练车辆重识别网络，从无人机拍摄的视频数据中采用跳帧挑选的方式选择图片数据，然后将图片数据输入到多尺度特征提取网络中，训练二分类网络并输出图片中是否包含车辆，在训练网络拟合后测试网络，如果包含车辆，则通过CAM机制将输出车辆的定位信息，不存在车辆的帧将被舍弃，再将低质量的车辆局部区域块输入到GAN网络中，并朝着高质量、高分辨率的车辆区域块方向拟合，直到生成的质量与真实的质量之间达到无法分辨真假，得到高质量的更高分辨率的车辆区域块，然后将高质量、高分辨率的车辆区域（RGB数据和数据）输入到多尺度特征提取网络中，并将二者充分发挥出互补特性，从而生成计算相似度量的高维度向量，从而确定车辆是否为查找的车辆。
[0006]作为本专利技术的进一步技术方案，步骤（2）提取的视觉信息和红外信息特征为：作为本专利技术的进一步技术方案，步骤（2）提取的视觉信息和红外信息特征为：作为本专利技术的进一步技术方案，步骤（2）提取的视觉信息和红外信息特征为：定义如下：其中代表可见光热红外图像；代表包含视觉信息的图片；代表提取得到的特征，i代表不同网络层输出的特征信息；代表采集的多尺度车辆信息，3,4,5代表第3,4,5层的输出特征，代表sigmoid函数。
[0007]作为本专利技术的进一步技术方案，步骤（3）的具体过程为：（31）先增强多尺度视觉特征和热红外特征，得到增强的多尺度视觉特征和热红外特征：特征：其中，代表reshape操作，将特征转化为单一维度向量；代表softmax函数，表示将矩阵之间的关系矩阵映射到0
‑
1之间；代表对矩阵的值进行排序，代表Concat操
作，代表取K个最大的相似矩阵的值；（32）采用车辆类别信息约束的方式，即将和输入到全局池化层中，提取高维度特征向量，从而达到精细化车辆特征区域信息的目的，详细操作如下，征向量，从而达到精细化车辆特征区域信息的目的，详细操作如下，征向量，从而达到精细化车辆特征区域信息的目的，详细操作如下，其中，,,代表是否存在车辆，和代表线性层，代表在此处产生的特征将被输出；代表特征叠加。
[0008]作为本专利技术的进一步技术方案，步骤（4）的具体过程如下：先确定车辆区域，其中，代表类别激活映射机制，通过类别激活映射机制将车辆区域定位出来；将车辆类别置信度更强的区域检测出来，采用注意力增强的方式将车辆类别置信度更强的区域检测出来，得到车辆位置的粗定位信息；基于车辆的粗定位信息，通过外围连接的方式得到外围边界框基于外围边界框，裁剪得到车辆区域；再将车辆区域进行增强得到高质量的车辆区域，其中代表低质量的车辆区域；代表车辆区域增强模块，车辆区域增强模块采用GAN网络中判别网络的方式，详细操作如下，其中，代表判别网络，代表真实的高质量的车辆区域；代表判断当前车辆区域是真实的车辆区域还是生成的车辆区域。
[0009]作为本专利技术的进一步技术方案，步骤（5）的具体过程如下：
其中，和分别代表基于车辆区域增强模块提取的视觉特征和红外特征。
[0010]作为本专利技术的进一步技术方案，步骤（6）得到的自注意力机制结果为：作为本专利技术的进一步技术方案，步骤（6）得到的自注意力机制结果为：跨注意力结果为：其中，代表融合的视觉特征和热红外特征。
[0011]作为本专利技术的进一步技术方案，步骤（7）的具体过程为：作为本专利技术的进一步技术方案，步骤（7）的具体过程为：为最终输出的高维度车辆特征向量。
[0012]与现有技术相比，本专利技术具有以下优点：一是能够克服夜晚和复杂条件下的车辆重检测，相对于传统的车辆检测方法不受应用场景的限制，只需要无人机拍摄相关视频即可；二是不仅能够实现车辆重检测，对于行人重检测等都具有非常大的借鉴意义；三是运用的数据标注方式能够节省人力财力物力，同时，即使是高空拍摄的分辨率小的问题也能很好的解决。
附图说明
[0013]图1为本专利技术实现车辆重检测的结流程框架示意图。
[0014]图2为本专利技术实现车辆重检测所采用的网络框架示意图。
具体实施方式
[0015]下面结合附图，通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机拍摄夜间低对比度的车辆重检测方法，其特征在于，具体过程为：（1）数据集构建：采用无人机拍摄的视频数据构建数据集，无人机拍摄的视频包含集RGB信息和数据；（2）视觉信息和红外信息特征提取：将视频数据划分为单帧的数据，每帧数据包含RGB图片数据和图片数据两种数据，将RGB图片和图片分别输入多尺度特征提取网络VggNet中，从RGB图片数据中提取视觉信息特征，从图片数据中提取红外信息特征；（3）弱监督车辆定位：采用基于弱监督车辆定位的方式生成车辆位置区域；（4）基于局部区域增强的分辨率提升：将弱监督车辆定位结果输入GAN网络中，采用基于局部区域增强的方式将图片的分辨率增加，得到高质量的视觉信息和高质量的红外信息，保证车辆在输入到网络中时，有充分的特征用于后续的车辆重检测过程；（5）分辨率提升后的视觉信息和红外信息特征提取：采用与步骤（2）相同的方式提取分辨率提升后的视觉信息特征和红外信息特征；（6）基于注意力机制的特征融合：根据视觉特征以及红外特征其自身蕴含的像素级互信息，先计算像素级特征相似性并加权初始特征，得到视觉特征和及热红外特征的自注意力机制结果，再采用基于语义信息特征相似性的特征交互模式，将增强后的车辆区域用来加权初始车辆特征得到跨注意力结果；（7）结果输出：将步骤（6）得到的自注意力和跨注意力结果进行跨层融合并输出高维度车辆特征向量，即为车辆重识别结果；（8）网络训练和测试：为训练车辆重识别网络，从无人机拍摄的视频数据中采用跳帧挑选的方式选择图片数据，然后将图片数据输入到多尺度特征提取网络中，训练二分类网络并输出图片中是否包含车辆，在训练网络拟合后测试网络，如果包含车辆，则通过CAM机制将输出车辆的定位信息，不存在车辆的帧将被舍弃，再将低质量的车辆局部区域块输入到GAN网络中，并朝着高质量、高分辨率的车辆区域块方向拟合，直到生成的质量与真实的质量之间达到无法分辨真假，得到高质量的更高分辨率的车辆区域块，然后将高质量、高分辨率的车辆区域输入到多尺度特征提取网络中，并将二者充分发挥出互补特性，从而生成计算相似度量的高维度向量，从而确定车辆是否为查找的车辆。2.根据权利要求1所述基于无人机拍摄夜间低对比度的车辆重检测方法，其特征在于，步骤（2）提取的视觉信息和红外信息特征为：步骤（2）提取的视觉信息和红外信息特征为：步骤（2）提取的视觉信息和红外信息特征为：定义如下：其中代表可见光热红外图像；代表包含视觉信息的图片；代表提取得到的特征，i代表不同网络层输出的...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：