基于模态转换的被动式太赫兹安检图像的目标检测方法技术

本发明专利技术公开了基于模态转换的被动式太赫兹安检图像的目标检测方法，包括：将X射线下危险品图像与被动式太赫兹人体图像进行图像融合，使用循环生成对抗网络进行非成对数据的模态风格转换，生成和真实图像高度相似的被动式太赫兹安检图像，通过合成图像扩充数据集的数量与种类，然后，利用该数据集训练改进的YOLOv5目标检测网络，学习多种类危险品特征，最终使用训练后的目标检测网络检测真实的被动式太赫兹安检图像，解决了被动式太赫兹安检图像目标检测训练过程中样本少、样本不均衡的问题，提高了检测精度和泛化性，适应实际安检场景下对多种类危险品的检测需求。场景下对多种类危险品的检测需求。场景下对多种类危险品的检测需求。

【技术实现步骤摘要】
基于模态转换的被动式太赫兹安检图像的目标检测方法


[0001]本专利技术涉及目标检测
，具体为基于模态转换的被动式太赫兹安检图像的目标检测方法。

技术介绍

[0002]太赫兹(THz)波是指频率在0.1
‑
10THz(波长为3000～30μm)范围内的电磁波，对物品具有良好的物质穿透特性，同时具有物质指纹谱识别特性，因此被运用于成像，被动式太赫兹成像是通过太赫兹探测器对被测物体自身投射出的辐射能量进行探测，最终利用不同物质穿透特性的差异来实现成像和辨别。太赫兹波单光子的能量低，只有几毫电子伏特，远低于X射线，不会因电离而破坏物质特性，因此将太赫兹成像用于人体安检具有良好的安全性，可以运用于人群密集的大型场合的安检，但是现有技术中缺少被动式太赫兹安检图像数据集用于进行太赫兹安检图像的目标检测，因此急需一种基于模态转换的被动式太赫兹安检图像的目标检测方法来解决上述问题。

技术实现思路

[0003]本专利技术提供基于模态转换的被动式太赫兹安检图像的目标检测方法，能解决了现有技术中被动式太赫兹安检图像目标检测训练过程中样本少、样本不均衡的问题，提高了检测精度和泛化性。
[0004]为实现上述目的，本专利技术提供如下技术方案：基于模态转换的被动式太赫兹安检图像的目标检测方法，包括如下步骤：
[0005]S1、将获取X射线下危险品图像与被动式太赫兹人体图像进行图像融合；
[0006]S2、构建循环生成对抗网络，进行非成对数据的模态风格转换，生成被动式太赫兹安检图像；
[0007]S3、基于不同种类物品生成的被动式太赫兹安检图像，经过挑选和标记，制作被动式太赫兹安检图像数据集；
[0008]S4、利用被动式太赫兹安检图像数据集训练改进的YOLOv5目标检测网络；
[0009]S5、通过训练后的目标检测网络检测真实的被动式太赫兹安检图像。
[0010]优选的，在步骤S1中，对X射线下危险品图像进行处理，并转化至灰度图片，建立处理后图像的掩膜，提取出带有物品的有效区域，并按照真实数据集中物品位置统计，生成符合二维正态分布的随机位置，提取太赫兹人体图像生成的叠加区域，根据X射线图像的掩膜将两张图融合：
[0011]Img
add
[i,j]＝Img1[i,j]*mask[i,j]+Img2[i,j]*(1
‑
mask[i,j])；
[0012]其中Img
add
为叠加图片，mask为X射线图像的掩膜，Img1和Img2分别代表X射线图像和被动式太赫兹人体图像中提取的待融合的区域；将Img
add
覆盖原太赫兹人体图片的对应区域。
[0013]优选的，对X射线下危险品图像进行处理：对危险品图像进行数据集标注，然后旋
转X射线危险品图片，得到不同角度的物体图片，接着按照一定比例对图片进行缩放。
[0014]优选的，对于灰度图片通过直方图正视化进行对比增强，增强后的图像为：其中，I为图像灰度矩阵，I
max
为I中的最大灰度级，I
min
为I中的最小灰度级。
[0015]优选的，在步骤S2中，循环生成对抗网络包括两个生成器和两个判别器，其中，将生成的被动式太赫兹安检图像记为X域，将真实太赫兹图片记为Y域，X域图片转Y域图片的生成器记作G
XY
，Y域图片转X域图片记作G
YX
，鉴别X域图片的判决器为D
X
，鉴别Y域图片的判决器为D
Y
；循环生成对抗网络同时建立X
→
Y与Y
→
X的映射。
[0016]优选的，在循环生成对抗网络转化过程中的损失函数为：
[0017][0018]其中，为X
→
Y循环过程中的对抗损失函数为Y
→
X循环过程中的对抗损失函数，λ
cyc
、λ
idt
为比例系数，为循环一致性损失函数，为dentity损失；
[0019]优化目标为：
[0020]优选的，生成器包括编码器、转换器和解码器，其中，编码器从输入图像中提取特征向量，进行卷积、归一化、激活操作，转换器将源域的特征向量转换为目标域的特征向量，解码器从特征向量向量中还原出低级特征，生成图像；判别器用于从图像中提取特征，并判断特征是否接近某域图像特征。
[0021]优选的，在步骤S3中，通过步骤S5中生成的被动式太赫兹安检图像不断扩充数据集的数量与种类。
[0022]优选的，在步骤S4中，搭建YOLOv5目标检测网络并改进，其中，在YOLOv5目标检测网络的backbone网络末端添加融合通道注意力与空间注意力的注意力机制模块CBAM，关注输出特征图中的关键位置，特征提取模块采用双向特征融合方式：加权双向特征金字塔网络BiFPN，采用双向交叉尺度连接和加权特征融合实现特征的双向融合。
[0023]与现有技术相比，本专利技术的有益效果：本专利技术中将获取X射线下危险品图像与被动式太赫兹人体图像利用掩膜操作进行叠加融合，并使用循环对抗生成网络进行模态转换，生成符合太赫兹成像特性、接近真实图像的合成太赫兹安检图像，其中，循环生成对抗网络同时训练两个生成器，同时建立X
→
Y与Y
→
X的映射，能够对一组不同内容、结构的图片进行训练，摆脱了现有的方法难以约束生成图像与输入图像保持内容、结构上的一致性，需要源图片和目标图片的结构对齐，也就是需要成对的数据集的限制；再基于不同种类物品生成的被动式太赫兹安检图像，制作出种类丰富、清晰度高的太赫兹安检图像数据集，可以有效提高检测精度和检测物品范围，解决了被动式太赫兹安检图像目标检测训练过程中样本少、样本不均衡的问题，提高了检测精度和泛化性，适应实际安检场景下对多种类危险品的检测需求。
附图说明
[0024]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0025]在附图中：
[0026]图1是本专利技术目标检测方法的流程图；
[0027]图2是本专利技术太赫兹图像中危险品anchor框位置、尺寸的统计结果图；
[0028]图3是本专利技术循环对抗生成网络的结构图；
[0029]图4是本专利技术合成太赫兹图片的效果图和真实同类别图；
[0030]图5是本专利技术卷积块注意力模块的结构图；
[0031]图6是本专利技术加权双向特征金字塔网络的结构示意图；
[0032]图7是本专利技术目标检测效果的结构示意图。
具体实施方式
[0033]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0034]实施例：如图1所示，基于模态转换的被动式太赫兹安检图像的目标检测方法，包括如下步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于模态转换的被动式太赫兹安检图像的目标检测方法，其特征在于，包括如下步骤：S1、将获取X射线下危险品图像与被动式太赫兹人体图像进行图像融合；S2、构建循环生成对抗网络，进行非成对数据的模态风格转换，生成被动式太赫兹安检图像；S3、基于不同种类物品生成的被动式太赫兹安检图像，经过挑选和标记，制作被动式太赫兹安检图像数据集；S4、利用被动式太赫兹安检图像数据集训练改进的YOLOv5目标检测网络；S5、通过训练后的目标检测网络检测真实的被动式太赫兹安检图像。2.根据权利要求1所述的基于模态转换的被动式太赫兹安检图像的目标检测方法，其特征在于：在步骤S1中，对X射线下危险品图像进行处理，并转化至灰度图片，建立处理后图像的掩膜，提取出带有物品的有效区域，并按照真实数据集中物品位置统计，生成符合二维正态分布的随机位置，提取太赫兹人体图像生成的叠加区域，根据X射线图像的掩膜将两张图融合：Img
add
[i,j]＝Img1[i,j]*mask[i,j]+Img2[i,j]*(1
‑
mask[i,j])；其中Img
add
为叠加图片，mask为X射线图像的掩膜，Img1和Img2分别代表X射线图像和被动式太赫兹人体图像中提取的待融合的区域；将Img
add
覆盖原太赫兹人体图片的对应区域。3.根据权利要求2所述的基于模态转换的被动式太赫兹安检图像的目标检测方法，其特征在于：对X射线下危险品图像进行处理：对危险品图像进行数据集标注，然后旋转X射线危险品图片，得到不同角度的物体图片，接着按照一定比例对图片进行缩放。4.根据权利要求2或3所述的基于模态转换的被动式太赫兹安检图像的目标检测方法，其特征在于：对于灰度图片通过直方图正视化进行对比增强，增强后的图像为：其中，I为图像灰度矩阵，I
max
为I中的最大灰度级，I
min
为I中的最小灰度级。5.根据权利要求1所述的基于模态转换的被动式太赫兹安检图像的目标检测方法，其特征在于...

【专利技术属性】
技术研发人员：柏业超，陈玥秀，唐岚，张兴敢，
申请(专利权)人：南京大学，
类型：发明
国别省市：