基于多光谱目标检测的跨模态融合模型的人员检测方法技术

本发明专利技术公开了一种基于多光谱目标检测的跨模态融合模型的人员检测方法，首先收集复杂情景下的人员图像数据，并对其进行分类和标记构建数据集

【技术实现步骤摘要】
基于多光谱目标检测的跨模态融合模型的人员检测方法


[0001]本专利技术涉及多光谱图像处理
、
目标检测领域，特别涉及一种基于多光谱目标检测的跨模态融合模型的人员检测方法
。
技术背景
[0002]多光谱目标检测任务是一个涉及传感器技术
、
数据采集和预处理
、
目标检测
、
跨模态融合
、
领域自适应等多个学科和领域的复杂任务
。Yukihiro
等人研究通过结合多个模型的预测结果，特别是在低光条件下的目标检测任务中，并使用领域自适应技术来提高模型的鲁棒性和泛化能力，其成果发表在论文“YOLO in the Dark
‑
Domain Adaptation Method for Merging Multiple Models。Kai Kang
等人，引入了
"generalizable pedestrian detection"
解决目标检测算法在不同环境和数据集上泛化能力较差的问题
。
其成果已经发表在论文“Generalizable Pedestrian Detection:The Elephant In The Room”中
。Yanwei Pang
等人于
2020
年提出利用天气条件对输入图像进行自适应调整，以增强目标检测算法在恶劣天气环境下的鲁棒性和准确性
。
其成果已经发表在论文“Image/>‑
Adaptive YOLO for Object Detection in Adverse Weather Conditions”中
。Wang,Y.
等人提出了一种基于卷积神经网络的自适应融合方法，用于多光谱行人检测，通过动态权重调整，实现了对不同模态信息的自适应融合，其成果已经发表在论文“Adaptive fusion for multi
‑
spectral pedestrian detection using convolutional neural networks”中
。
[0003]传统的多光谱目标检测跨模态模型大多是采用卷积作为多个模态之间的融合通道
。
以卷积为融合通道无法得到多个模态之间的全局信息，鲁棒性得不到保证
。
由于卷积只关注局部信息并且在感受野不足的情况下检测精度也会下降
。

技术实现思路

[0004]专利技术目的：针对
技术介绍
中指出的问题，本专利技术提出了一种基于多光谱目标检测的跨模态融合模型的人员检测方法，通过建立双流模型检测
RGB
图像和热力图像并通过基于
Transformer
模块建立的融合通道
CFT
融合双分支的特征，实现对人员检测精度和鲁棒性的提升
。
[0005]技术方案：本专利技术提出一种基于多光谱目标检测的跨模态融合模型的人员检测方法，包括如下步骤：
[0006]步骤1：采集各种复杂情况下的人员图像并进行分类
、
人工标注，制作成自建数据集；对自建数据集原始图片进行预处理，将处理后的图片按照一定的比例划分为训练集和验证集；
[0007]步骤2：搭建双流检测网络，构建
CFT(Cross
‑
Modality Fusion Transformer)
模块作为两个分支的融合模块并设计损失函数；所述双流检测网络采用残差神经网络
ResNet
作为主干网络，还包括
RGB
分支和
Thermal
分支，所述
CFT
模块用以融合
RGB
分支和
Thermal
分支的特征，并找出两个分支之间的潜在联系；
[0008]步骤3：将公共数据集的图片输入到双流检测网络的骨干网络中进行层次化的特征提取然后输入双流检测网络中进行细致特征提取和特征融合，将提取结果输入
MLP(Multilayer Perceptron)
中得到分类结果和预测结果，经过多次的迭代得到最好的预训练权重，并放在公共数据集的测试集中测试效果；
[0009]步骤4：处理公共数据集中得到的训练权重，使其适应自建数据集，在预训练权重的基础上经过多次迭代，得到最好的训练权重；
[0010]步骤5：利用训练好的权重进行预测并将预测结果可视化
。
[0011]进一步地，所述步骤1中，各种复杂场景包括雨天
、
雾天
、
低光照情况下，对图像进行预处理包括：通过翻转
、
平移
、
裁剪中的任意一种或几种方法对图像数据进行增强，并使用高斯滤波器对图像进行去噪使图像更加清晰可读，最后将图片利用
LabelImg
对图片进行人工标注，导出图片和标签信息
。
[0012]进一步地，所述步骤1还包括如下步骤：
[0013]步骤
1.1
：将所有图片的绝对地址读入内存放入列表中；
[0014]步骤
1.2
：按照
8:2
的原则将列表划分为训练集合图片地址列表和验证集合图片地址列表；
[0015]步骤
1.3
：将训练图片地址所代表的图片移动到
train
文件夹下，验证集合图片地址列表所代表的图片移动到
verify
文件夹下，完成数据集的划分
。
[0016]进一步地，所述
RGB
分支以
Faster RCNN
模型为基础，在此基础上去除
Faster RCNN
模型中最后五层最大池化层和全联接层，并将特征提取层最后四个
14x14conv2d,512
换成空洞卷积
DConv2d。
[0017]进一步地，所述
Thermal
分支在
VGG
模型基础上，将其中起分类作用的线性层
、Dropout
层删除，只采用模型中的特征提取层，并且修改其中卷积的步长和
Padding
，使经过每个卷积层后图像大小不发生变化，而后将改变图像大小的任务交给池化层，具体
Padding
大小如下：
[0018]W
out
＝
(W
in
‑
F+2P)/S+1
[0019]H
out
＝
(H
in
‑
F+2P)/S+1
[0020]其中，
W
out
为输出图像宽度，
W
in
为输入图像宽度
。H
in
为输入图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多光谱目标检测的跨模态融合模型的人员检测方法，其特征在于，包括如下步骤：步骤1：采集各种复杂情况下的人员图像并进行分类
、
人工标注，制作成自建数据集；对自建数据集原始图片进行预处理，将处理后的图片按照一定的比例划分为训练集和验证集；步骤2：搭建双流检测网络，构建
CFT(Cross
‑
Modality Fusion Transformer)
模块作为两个分支的融合模块并设计损失函数；所述双流检测网络采用残差神经网络
ResNet
作为主干网络，包括
RGB
分支和
Thermal
分支，所述
CFT
模块用以融合
RGB
分支和
Thermal
分支的特征，并找出两个分支之间的潜在联系；步骤3：将公共数据集的图片输入到双流检测网络的骨干网络中进行层次化的特征提取然后输入双流检测网络中进行细致特征提取和特征融合，将提取结果输入
MLP(Multilayer Perceptron)
中得到分类结果和预测结果，经过多次的迭代得到最好的预训练权重，并放在公共数据集的测试集中测试效果；步骤4：处理公共数据集中得到的训练权重，使其适应自建数据集，在预训练权重的基础上经过多次迭代，得到最好的训练权重；步骤5：利用训练好的权重进行预测并将预测结果可视化
。2.
根据权利要求1所述的一种基于多光谱目标检测的跨模态融合模型的人员检测模型方法，其特征在于，所述步骤1中，各种复杂场景包括雨天
、
雾天
、
低光照情况下，对图像进行预处理包括：通过翻转
、
平移
、
裁剪中的任意一种或几种方法对图像数据进行增强，并使用高斯滤波器对图像进行去噪使图像更加清晰可读，最后将图片利用
LabelImg
对图片进行人工标注，导出图片和标签信息
。3.
根据权利要求2所述的一种基于多光谱目标检测的跨模态人员检测方法，其特征在于，所述步骤1还包括如下步骤：步骤
1.1
：将所有图片的绝对地址读入内存放入列表中；步骤
1.2
：按照
8:2
的原则将列表划分为训练集合图片地址列表和验证集合图片地址列表；步骤
1.3
：将训练图片地址所代表的图片移动到
train
文件夹下，验证集合图片地址列表所代表的图片移动到
verify
文件夹下，完成数据集的划分
。4.
根据权利要求1所述的一种基于多光谱目标检测的跨模态融合模型的人员检测方法，其特征在于，所述
RGB
分支以
Faster RCNN
模型为基础，在此基础上去除
Faster RCNN
模型中最后五层最大池化层和全联接层，并将特征提取层最后四个
14x14conv2d,512
换成空洞卷积
DConv2d。5.
根据权利要求1所述的一种基于多光谱目标检测的跨模态融合模型的人员检测方法，其特征在于，所述
Thermal
分支在
VGG
模型基础上，将其中起分类作用的线性层
、Dropout
层删除，只采用模型中的特征提取层，并且修改其中卷积的步长和
Padding
，使经过每个卷积层后图像大小不发生变化，而后将改变图像大小的任务交给池化层，具体
Padding
大小如下：
W
out
＝
(W
in
‑
F+2P)/S+1H
out
＝
(H
in
‑
F+2P)/S+1
其中，
W
out
为输出图像宽度，
W
in
为输入图像宽度
。H
in
为输入图像高度，
H
out
为输出图像高度，
F
为卷积核大小，
S
为步幅，
P
...

【专利技术属性】
技术研发人员：何艳婷，张海燕，王媛媛，黄佳泷，宋照渝，严少峰，朱俊勋，王梅峰，高尚兵，任珂，刘步实，李亚州，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：