基于前后背景分卷积神经网络的X光违禁物品检测方法技术

本发明专利技术提出了一种基于前后背景分离卷积神经网络的X光违禁物品检测方法，主要解决现有技术难以在重叠严重的X光场景下对违禁物品精确检测的问题。实现步骤为：(1)获取训练样本集和测试样本集；(2)构建前后背景分离神经网络模型；(3)对前后背景分离卷积神经网络模型进行迭代训练；(4)获取X光图像违禁物品识别结果。本发明专利技术在构建X光违禁物品检测模型结构时，首先构建特征提取网络模型的结构，然后用前景解码器和背景解码器来分别重构前景和背景，再利用注意力网络使高级特征关注于前景，解决了现有技术难以在重叠严重的X光场景下排除无关信息对违禁物品检测产生影响的问题，从而提高了X光场景下违禁物品的检测准确率。了X光场景下违禁物品的检测准确率。了X光场景下违禁物品的检测准确率。

【技术实现步骤摘要】
Network Based Object Detector for X
‑
ray Baggage Security Imagery”(International Conference on Tools with Artificial Intelligence(ICTAI)，2019，pp.1757
–
1761)中，公开了一种基于基于深度神经网络的目标检测框架，该方法采用双阶段的目标检测方法Fast R
‑
CNN作为目标检测框架来检测X光图像中的违禁物品，在训练网络之前，先根据颜色对图像进行分割，设定R(224
‑
255)，G(216
‑
255)，B(201
‑
255)作为阈值，将图像中在阈值范围内的部分作为背景，其他作为前景，然后将分割好的图像输入到检测器中检测违禁物品。该方法成功将大部分违禁物品分割到前景中，然而仅以颜色进行分割的图像，与违禁物品具有近似颜色的无关物品也被分割到前景中，导致违禁物品的检测精度。

技术实现思路

[0006]本专利技术的目的在于针对上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于前后背景分离卷积神经网络的X光违禁物品检测方法，其特征在于包括如下步骤：(1)获取训练样本集和测试样本集：(1a)获取V幅包含不同类别违禁物品的X光图像O＝{o
i
|1≤i≤V}，并对每幅X光图像o
i
中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集其中，V＞8000，o
i
表示第i幅X光图像，和分别表示o
i
所包含的违禁物品的类别标签和位置坐标标签，c
u
表示第u类违禁物品，U表示违禁物品类别标签的总数，U≥2，y
loc
＝(x
i
,y
i
,w
i
,h
i
)，x
i
、y
i
、w
i
和h
i
分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；(1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集O
train
＝{o
j
|1≤j≤V
train
}，V/2＜V
train
≤V，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集O
test
＝{o
l
|1≤l≤V
test
}，其中，o
j
表示训练样本集中的第j张X光图像，o
l
表示训练样本集中的第l张X光图像，V/2＜V
train
≤V，V
test
＝V
‑
V
train
；(2)构建前后背景分离卷积神经网络模型：(2a)构建前后背景分离卷积神经网络模型的结构：构建包括顺次连接的特征提取网络f
extract
、前景解码器网络f
decoder_foreground
、注意力网络f
attention
和输出网络f
output
，和连接在特征提取网络f
extract
后的另一分支背景解码器网络f
decoder_background
，其中，特征提取网络f
extract
包括输入层、多个卷积模块和多个残差模块；前景解码器网络f
decoder_foreground
、背景解码器网络f
decoder_background
均包括多个上采样层、多个卷积模块和多个shortcut拼接层；注意力网络f
attention
包括多个卷积模块；输出网络f
output
包括多个卷积层、多个归一化层和多个激活函数层；(2b)定义前后背景分离损失函数Loss
fb
：Loss
fb
＝|f
predict
‑
f
target
|+|o
predict
‑
o
j
|+λ
in
(|f
in_predict
‑
f
in_target
|+|o
in_predict
‑
o
in
|)o
predict
＝f
predict
·
b
predict
其中o
j
表示训练样本集O
train
中的一幅图像，f
predict
表示图像o
j
的预测前景图像，b
predict
表示图像o
j
的预测背景图像，o
predict
表示由图像o
j
的预测前景f
predict
和预测背景b
predict
重构的图像，f
target
表示图像o
j
的目标前景图像，f
in_predict
表示预测前景f
predict
在图像o
j
的位置坐标标签y
loc
范围内的图像，f
in_target
表示目标前景f
target
在图像o
j
的位置坐标标签y
loc
范围内的图像，o
in_predict
表示重构图像o
predict
在图像o
j
的位置坐标标签y
loc
范围内的图像，o
in
表示图像o
j
在在图像o
j
的位置坐标标签y
loc
范围内的图像，λ
in
为位置坐标内外平衡参数；(2c)定义类别和定位损失函数Loss
lc
：
其中，K表示将图像o
j
划分成网格的网格数量，M表示候选框的anchor数量,表示图像o
j
在网格点m，n处的候选框anchor内存在违禁物品，表示图像o
j
在网格点m，处的候选框anchor内是否存在违禁物品，w表示图像的o
j
预测标记框的宽度，h表示图像o
j
的预测标记框的高度，x表示图像的o
j
预测标记框中心的横坐标，y表示图像o
j
预测标记框中心的纵坐标,C表示图像o
j
在预测标记框内存在违禁物品的置信度，表示图像o
j
在预测标记框内实际存在违禁物品，p(c)表示图像o
j
的预测标记框内违禁物品属于第c类违禁物品的概率，表示图像o
j
的预测标记框内是否存在第c类违禁物品，λ
coord
表示定位平衡参数，λ
noobj
表示类别平衡参数；(3)对前后背景分离卷积神经网络进行迭代训练：(3a)初始化特征提取网络f
extract
的网络权重参数为前景解码器网络f
decoder_foreground
的网络权重参数为背景解码器网络f
decoder_background
的网络权重参数为注意力网络f
attention
的网络权重参数为输出网络f
output
的网络权重参数为迭代次数为t，最大迭代次数为T≥50，并令t＝0；(3b)将训练样本集O
train
中的每幅图像o
j
作为特征提取网络f
extract
的输入，每幅图像o
j
在特征提取网络中进行前向传播，得到图像o
j
的高级特征(3d)将图像o
j
的高级特征分别作为前景解码器网络f
decoder_foreground
和背景解码器f
decoder_background
的输入进行重构，得到图像o
j
的预测前景和预测背景(3e)由预测前景和预测背景构建图像o
j
的目标前景和目标背景和目标背景和目标背景
其中，表示图像o
j
在位置坐标标签范围内的图像，表示图像o
j
中除以外部分的图像，表示与之间的差异，threhold为差异阈值；(3f)将图像o
j
的预测前景作为注意力网络f
attention
的输入f
attention
进行向前传播，得到图像o
i
的注意力图(3g)将图像o
j
的注意力图与图像o
j
的高级特征相乘，得到图像o
j
关注于预测前景的高级特征(3g)将图像o
j
关注于预测前景的高级特征作为输出网络f
output
的输入进行向前传播，得到图像o
i
的所包含违禁物品的预测位置坐标标签置信度信息和预测类别标签概率(3h)采用损失函数Loss
fb
，当t＝0，通过计算前后背景分离损失函数Loss
fb
，当t≥1，通过计算前后背景分离损失函数Loss
fb
；采用损失函数Loss
lc
，并通过并通过(x
j
,y
j
,w
j
,h
j
)、计算类别和定位损失函数Loss
lc
；将前后背景分离损失函数Loss
fb
与类别和定位损失函数Loss
lc
相加得到前后背景分离卷积神经网络总损失函数Loss＝Loss
fb
+Loss
lc
，再采用反向传播方法并通过Loss计算f
extract
...

【专利技术属性】
技术研发人员：刘静，邵方涛，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：