基于UNET下采样卷积神经网络的X光违禁物检测方法技术

本发明专利技术提出了一种基于UNET的下采样卷积神经网络的X光违禁物品检测方法，能够高效的将违禁物品检测出来。基于UNET网络实现的细粒度划分网络重复利用原有的低级特征和高级特征的弹性形变获得更优的特征提取，经过多次下采样后的低分辨率信息，可反映威胁目标和环境之间的潜在关系，有助于物体的类别判断；高分辨率信息，为分割提供更精细的特征，保证了特征的高效性和多样性，用来处理数据不平衡问题。在层次结构方面，建立了一种新的损失函数——分类损失函数，根据权重对数据进行重新分配和变形，以解决X射线安全检查中的数据覆盖问题，是一种非常实用的X光异常检测方法。是一种非常实用的X光异常检测方法。是一种非常实用的X光异常检测方法。

【技术实现步骤摘要】
基于UNET下采样卷积神经网络的X光违禁物检测方法


[0001]本专利技术属于图像处理
，更进一步涉及计算机视觉
中的一种基于UNET的下采样卷积神经网络X光违禁物品检测方法，可用于对X光图像中的违禁物品进行检测。

技术介绍

[0002]近年来，X光安全检测问题逐渐得到人们的重视，尤其是行李威胁检测已经成为全世界最关注的问题。仅2019年广州高铁站每天就平均检测40万人次，因此，积极寻找自动可靠的行李检查系统，快速、自动和准确地识别X射线扫描图像中的违禁物品也就变的非常关键。X射线图像中被遮挡的违禁物体的识别可以看作是计算机视觉的一个目标检测问题，在行李检测中威胁对象出现的概率较小，被低严重低估，出现了类不平衡问题，这类检测有个统一的名称叫异常检测。
[0003]目前，在x射线行李图像的目标检测主要有两种方法：一种是传统视觉方法，一种是深度学习方法。传统视觉方法利用训练的手工特征，如X光行李图像中的单词(BoW。具有多个特征表示如DoG、DoG+SIFT、DoG+Harris)形成特征描述子进行特征提取，再利用支持向量机(SVM)进行分类和检测。但它的缺点是人工分析图片的特征，主观性较强且只在特定场景下适用，不利于泛化。深度学习方法一般方法为：采集大量图片，标注图片，把图片放进网络训练，查看训练结果，调节参数和网络结构，再次训练，得到最好的结果。
[0004]随着深度学习方法的深入研究，大量的卷积神经网络方法在X光安全检测中应用。Yanlu Wei在其发表的论文“Occluded Prohibited Items Detection:An X
‑
ray Security Inspection Benchmark and De
‑
occlusion Attention Module”(arXiv preprint arXiv2004.08656,2020)中，公开了一种基于去遮挡注意力模块的X光违禁物品检测方法。该方法使用了一个去遮挡的注意力模块将目标和背景进一步区分，在注意生成中，通过“边缘引导”和“材料感知”生成两个特征图，并融合生成注意图，将注意图应用于输入图像，生成想要的精细特征图，细化后的特征映射用于SSD网络中。该方法使用了目标物品的边缘信息和材质信息，获得的图像特征的质量很高，且插件式设计灵活多用，但在威胁目标数量过少或数据集缺乏的情况下，边缘信息和材料信息远远不足，且当图片覆盖严重时，会对整体的精确度造成影响。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术存在的不足，提出一种基于UNET的下采样卷积神经网络的X光违禁物品检测方法。旨在提高因为威胁目标和数据集的缺乏以及图片覆盖严重情况下X光违禁物品的检测准确度。
[0006]本专利技术的技术思路是，首先构建X光违禁物品数据集，将其依输入到特征提取网络f
f
‑
e
、细粒度划分网络f
down
‑
up
、注意力网络f
attention
和输出网络f
output
，在细粒度划分网络f
down
‑
up
中利用UNET网络结构，减弱了威胁目标数量过少的影响，然后修改损失函数的算法，
降低X光图像中的无用信息比重，将被检测目标图像更大权重的输入基于深度的卷积神经网络的检测器，最后用训练好的基于UNET的下采样卷积神经网络对待检测的X光图像进行检测。
[0007]为实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0008](1)获取训练样本集和测试样本集：
[0009](1a)获取N幅包含不同类别违禁物品的X光图像M＝{m
i
|1≤i≤N}，并对每幅X光图像m
i
中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集其中，N＞8000，m
i
表示第i幅X光图像，和分别表示m
i
所包含的违禁物品的类别标签和位置坐标标签，所包含的违禁物品的类别标签和位置坐标标签，表示第s类违禁物品，S表示违禁物品的类别数，S≥2，S≥2，和分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；
[0010](1b)将随机选取M中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集M
train
＝{m
j
|1≤j≤N
train
}，N/2＜N
train
≤N，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集M
test
＝{m
l
|1≤l≤N
test
}，其中，m
j
表示训练样本集中的第j幅X光图像，m
l
表示训练样本集中的第l幅X光图像，N/2＜N
train
≤N，N
test
＝N
‑
N
train
；
[0011](2)构建基于UNET的下采样卷积神经网络：
[0012](2a)构建基于UNET的下采样卷积神经网络的结构：
[0013]构建包括顺次连接的特征提取网络f
f
‑
e
、基于UNET网络实现的细粒度划分网络f
down
‑
up
、注意力网络f
attention
和输出网络f
output
的下采样卷积神经网络，其中，特征提取网络f
f
‑
e
包括输入层、多个卷积模块和多个残差模块；细粒度划分网络f
down
‑
up
包含多个上采样连接模块、多个下采样连接模块、卷积模块和多个concat拼接层，构成“U”型结构；注意力网络f
attention
包括多个卷积模块和一个融合模块；输出网络f
output
包括两个卷积层，一个归一化层和一个激活函数层的神经网络；
[0014](2b)定义基于UNET的下采样卷积神经网络的损失函数Loss：
[0015]Loss＝L
GHM
‑
C
+L
lc
[0016][0017][0018][0019]其中，L
GHM
‑
C
表示分类损失函数，L
CE
是交叉熵损失损失函数，P是构建的卷积神经网络的检测概率，P
*
是X图像的标签，P
*
的取值为0或1，GD(g)表示单位梯度模长g部分的样本个数，即梯度密度，δ
ε
(g
d
,g)表明了样本1～W中，梯度模长分布在范围内的样本个数，l
ε
(g)代表了区间的长度；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于UNET的下采样卷积神经网络的X光违禁物品检测方法，其特征在于包括如下步骤：(1)获取训练样本集和测试样本集：(1a)获取N幅包含不同类别违禁物品的X光图像M＝{m
i
|1≤i≤N}，并对每幅X光图像m
i
中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集其中，N＞8000，m
i
表示第i幅X光图像，和分别表示m
i
所包含的违禁物品的类别标签和位置坐标标签，包含的违禁物品的类别标签和位置坐标标签，表示第s类违禁物品，S表示违禁物品的类别数，S≥2，S≥2，和分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；(1b)将随机选取M中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集M
train
＝{m
j
|1≤j≤N
train
}，N/2＜N
train
≤N，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集M
test
＝{m
l
|1≤l≤N
test
}，其中，m
j
表示训练样本集中的第j幅X光图像，m
l
表示训练样本集中的第l幅X光图像，N/2＜N
train
≤N，N
test
＝N
‑
N
train
；(2)构建基于UNET的下采样卷积神经网络：(2a)构建基于UNET的下采样卷积神经网络的结构：构建包括顺次连接的特征提取网络f
f
‑
e
、基于UNET网络实现的细粒度划分网络f
down
‑
up
、注意力网络f
attention
和输出网络f
output
的下采样卷积神经网络，其中，特征提取网络f
f
‑
e
包括输入层、多个卷积模块和多个残差模块；细粒度划分网络f
down
‑
up
包含多个上采样连接模块、多个下采样连接模块、卷积模块和多个concat拼接层，构成“U”型结构；注意力网络f
attention
包括多个卷积模块和一个融合模块；输出网络f
output
采用包括两个卷积层、一个归一化层和一个激活函数层的神经网络；(2b)定义基于UNET的下采样卷积神经网络的损失函数Loss：Loss＝L
GHM
‑
C
+L
lclc
其中，L
GHM
‑
C
表示分类损失函数，L
CE
是交叉熵损失函数，P是构建的卷积神经网络的检测概率，P
*
是X光图像的标签，P
*
的取值为0或1，GD(g)表示单位梯度模长g部分的样本个数，即梯度密度，δ
ε
(g
d
,g)表明了样本1～W中，梯度模长分布在范围内的样本个数，l
ε
(g)代表了区间的长度；L
lc
表示类别和定位损失函数，L
lc
把X光图像划分成不同大小的网格,根据候选框和标记框的中心点坐标、及宽高信息和网格数构建函数，M代表候选框数量，M＝3，K代表网格数，表示在q,m处的候选框有目标，表示在q,m处的候选框没有目标，w表示候选框的宽度，h表示候选框的高度，x表示候选框中心的横坐标，y表示候选框中心的纵坐标，C表示候选框内存在违禁物品的置信度，表示候选框内实际是存在违禁物品的,表示违禁物品是属于第c类的概率，λ
coord
为定位平衡参数，λ
noobj
为类别平衡参数；(3)对基于UNET的下采样卷积神经网络进行迭代训练：(3a)初始化特征提取网络f
f
‑
e
的权重参数为细粒度划分网络f
down
‑
up
的权重参数为注意力网络f
attention
的权重参数为输出网络f
output
的权重参数为迭代次数为t，最大迭代次数为T≥50，并令t＝0；(3b)将训练样本集M
train
中的每个训练样本包括X光图像及其对应的类别标签和位置坐标标签作为特征提取网络f
f
‑
e
的输入，每幅图像m
j
在特征提取网络中进行前向特征提取，得到图像m
j
的第一高级特征(3c)将图像m
j
的第一高级特征作为细粒度划分网络f
down
‑
up
的输入进行特征提取，在细粒度划分网络f
down
‑
up
中进行特征融合，得到图像m
j
的第二高级特征(3d)将图像m
j
的第二高级特征作为注意力网络f
attention
的输入进行前向特征提取，得到图像m
j
的注意力图(3e)将图像m
j
的注意力图与图像m
j
的第一高级特征在融合模块中相乘，得到图像m
j
的第三高级特征
(3f)将图像m
j
的第三高级特征作为输出网络f
output
的输入进行前向特征提取，得到图像m
j
的所包含违禁物品的预测位置坐标标签置信度信息和预测类别标签概率(3g)基于UNET的下采样卷积神经网络的损失函数Loss＝L
GHM
‑
C
+L
lc
，通过计算分类损失函数L
GHM
‑
C
，以及类别和定位损失函数L
lc
的函数值，并将L
GHM
‑
C
与L
lc
相加得到Loss,再采用反向传播方法，通过Loss计算f
f
‑
e
、f
down
‑
up
、f
attention
和f
output
的网络权重参数梯度，然后采用梯度下降算法通过f
f
‑
e
、f
down
‑
up
、f
attention
和f
output
的网络权重参数梯度对f
f
‑
e
、f
down
‑
up
、f
attention
和f
output
的网络权重参数θ
attention
和θ
output
进行更新；(3h)判断t≥T是否成立，若是，得到训练好的基于UNET的下采样...

【专利技术属性】
技术研发人员：刘静，马玉婷，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：