基于RGB色彩分离双路特征融合的X射线违禁物品检测方法技术

本发明专利技术提供了一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，包括以下步骤：获取训练样本集和测试样本集；构建RGB色彩分离的双路特征融合网络模型；对RGB色彩分离的双路特征融合网络进行迭代训练；获取X射线违禁物品图像识别结果。本发明专利技术在构建X射线违禁物品检测模型结构时，首先构建了RGB色彩分离结构，然后构建特征提取网络结构，之后构建特征融合网络结构，再进行训练，解决了现有技术排除无关信息对违禁物品检测产生影响的问题，从而提高了X射线场景下违禁物品的检测准确率。确率。确率。

【技术实现步骤摘要】
基于RGB色彩分离双路特征融合的X射线违禁物品检测方法


[0001]本专利技术涉及违禁检测技术，特别是涉及一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法。

技术介绍

[0002]X射线图像检测是无损检测广泛使用的方法，常使用于机场、火车站、以及购物中心等场所的违禁物品检测。X射线安全检查是维持机场与交通安全的最广泛使用的安全措施之一，由人工操作人员进行的人工检查在其中发挥着至关重要的作用。人工行李检查不仅是一项对经验和知识要求相当高的工作，同时还是一项十分累人的工作。虽然经验和知识是检测信心的关键因素，但是依然容易受情绪与工作满意度等外部因素干扰而导致出错，从而造成很大的安全隐患。
[0003]X射线下的行李包裹存在的另一个问题就是其混乱的性质，也会对人类操作员的决策时间和检测性能造成负面影响。例如：当笔记本电脑被留在袋子里时，人工安检器的威胁检测性能显著降低。这是因为笔记本电脑结构紧凑，隐藏了潜在的威胁，限制了筛选器的检测能力。所有这些问题都需要在X射线安全成像中使用自动目标检测算法，这将保持人类操作员的警觉性，提高检测效率，缩短响应时间，从而获得更高的操作员信任。所以设计出一个可辅助人工，乃至于替代人工检测违禁物品的算法势在必行。
[0004]在X射线下成像特点主要分为两大特点，一种是：不同材质成像特征不同，有机物呈现为橙色(如布匹、塑料等非违禁物)，混合物一般呈现为绿色(如不锈钢制品、电缆等)，无机物呈现为蓝色(如电击器、子弹、枪槽弹、枪和刀具等)，同时发胶、打火机等易燃易爆物品，在经过X射线后，外面的罐子呈蓝色，中间呈绿色，若是塑料打火机，则外壳呈橙色。另一特点为：物体经过X射线成像后，可以很好的保持物体的外观形状。
[0005]现如今绝大多数算法都是在目标检测算法的基础上针对X射线在成像时可以很好的保持物体的外观形状这一特点，提出了如轮廓、前后背景分离、边缘等检测方法。如YanluWei等人于2020年在其发表的论文“Occluded Prohibited Items Detection:An X
‑
ray Security Inspection Benchmark and De
‑
occlusion Attention Module”(Proceedings of the 28th ACM International Conference on Multimedia.2020)中，公开了一种基于去遮挡注意力模块的X射线违禁物品检测方法。该方法使用了一个去遮挡的注意力模块来排除遮挡物品在X射线图像中的干扰，该模型可以嵌入到现有的单阶段或双阶段深度学习方法中。在训练神经网络时，根据两个子模块“边缘引导”和“材质认知”来生成违禁物品的边缘信息和材质信息，再通过这两个信息计算出注意力图，最后使输入关注于注意力图以得到高质量的图像特征，为探测器提供可靠信息。该方法重点关注于违禁物品的边缘和材质信息，帮助了检测器获得高质量的图像特征，从而提升检测效果。但是，该方法虽然训练时关注了边缘和材质信息，但违禁物品和无关物品的边缘和材质信息糅杂在一起，仍需要检测器从混杂的信息识别违禁物品，从而降低了违禁物品的检测精度。但是很少有对X射线下的成像色彩进行研究的。
[0006]在很多工作中，融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。如何将两者高效融合，取其长处，弃之糟泊，是改善模型的关键。

技术实现思路

[0007]针对现有技术中存在的缺陷，本专利技术的目的在于提供一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，解决现有技术中存在的检测精度较低的技术问题。
[0008]为了达到上述目的，本专利技术所采用的具体技术方案如下：
[0009]一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，具体包括以下步骤：
[0010](1)获取训练样本集和测试样本集：获取若干副包含不同类别违禁物品的X光图像，并对每副X光图像中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集；
[0011](2)构建RGB色彩分离的双路特征融合网络模型：构建RGB色彩分离的双路特征融合网络模型的结构，定义损失函数，其中模型结构包括顺次连接的RGB色彩分离处理器、特征提取网络、双路特征融合网络、RPN网络、ROI池化网络和输出网络，所述RGB色彩分离处理器用于对X光图像进行色彩分离，所述特征提取网络用于提取色彩分离后的X光图像的特征并传输给双路特征融合网络，所述双路特征融合网络用于特征融合，并将特征融合后的X光图像输入至RPN网络，所述RPN网络用于在输入图像中生成正负类的候选框，并输入至ROI池化网络，所述ROI池化网络对RPN网络生成的ROI进行分类和微调，判断是否包含目标，并修正框的位置和坐标；所述输出网络用于根据ROI池化网络的输出值求得结果并输出；
[0012](3)对RGB色彩分离的双路特征融合网络进行迭代训练：将训练样本输入RGB色彩分离处理器，所述RGB色彩分离处理器将违禁物品的三个色彩通道分别提取出来，剔除Red色彩通道，得到新的训练样本集，基于训练样本和新的训练样本对RGB色彩分离的双路特征融合网络进行迭代训练；
[0013](4)获取X射线违禁物品图像识别结果：将测试样本输入训练后的模型中，获取X射线违禁物品图像识别结果。
[0014]优选的，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集具体指的是：
[0015]随机选取半数以上的X光图像及其对应的类别标签和位置坐标标签组成训练样本集，其余的X光图像及其对应的类别标签和位置坐标标签组成测试样本集。
[0016]优选的，所述双路特征融合网络用于特征融合具体指的是通过特征提取网络提取到的高级特征分别与得到的比例参数相乘，之后根据网络学习到的参数特征相加获得新的特征融合后的X光图像。
[0017]优选的，所述特征提取网络包括输入层、多个卷积模块和多个残差模块；双路特征融合网络包括多个卷积模块和多个add拼接层；RPN网络包含多个卷积模块；ROI池化网络包括多个设有不同的IoU阈值的ROI池化网络单元，输出网络包括多个全连接层和多个激活函
数层。
[0018]优选的，RPN网络包括三个卷积模块，所述ROI池化网络包括三个设有不同的IoU阈值的ROI池化网络单元，所述输出网络包括三个与所述ROI池化网络单元相对应的输出网络单元，每个输出网络单元包括三层全连接层和两个激活函数层。
[0019]优选的，步骤(2)定义损失函数具体包括定义定位损失函数、定义分类损失函数、定义RGB色彩分离的双路特征融合网络损失函数。
[0020]优选的，定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，具体包括以下步骤：(1)获取训练样本集和测试样本集：获取若干副包含不同类别违禁物品的X光图像，并对每副X光图像中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集；(2)构建RGB色彩分离的双路特征融合网络模型：构建RGB色彩分离的双路特征融合网络模型的结构，定义损失函数，其中模型结构包括顺次连接的RGB色彩分离处理器、特征提取网络、双路特征融合网络、RPN网络、ROI池化网络和输出网络，所述RGB色彩分离处理器用于对X光图像进行色彩分离，所述特征提取网络用于提取色彩分离后的X光图像的特征并传输给双路特征融合网络，所述双路特征融合网络用于特征融合，并将特征融合后的X光图像输入至RPN网络，所述RPN网络用于在输入图像中生成正负类的候选框，并输入至ROI池化网络，所述ROI池化网络对RPN网络生成的ROI进行分类和微调，判断是否包含目标，并修正框的位置和坐标；所述输出网络用于根据ROI池化网络的输出值求得结果并输出；(3)对RGB色彩分离的双路特征融合网络进行迭代训练：将训练样本输入RGB色彩分离处理器，所述RGB色彩分离处理器将违禁物品的三个色彩通道分别提取出来，剔除Red色彩通道，得到新的训练样本集，基于训练样本和新的训练样本对RGB色彩分离的双路特征融合网络进行迭代训练；(4)获取X射线违禁物品图像识别结果：将测试样本输入训练后的模型中，获取X射线违禁物品图像识别结果。2.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集具体指的是：随机选取半数以上的X光图像及其对应的类别标签和位置坐标标签组成训练样本集，其余的X光图像及其对应的类别标签和位置坐标标签组成测试样本集。3.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，所述双路特征融合网络用于特征融合具体指的是通过特征提取网络提取到的高级特征分别与得到的比例参数相乘，之后根据网络学习到的参数特征相加获得新的特征融合后的X光图像。4.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，所述特征提取网络包括输入层、多个卷积模块和多个残差模块；双路特征融合网络包括多个卷积模块和多个add拼接层；RPN网络包含多个卷积模块；ROI池化网络包括多个设有不同的IoU阈值的ROI池化网络单元，输出网络包括多个全连接层和多个激活函数层。5.根据权利要求4所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，RPN网络包括三个卷积模块，所述ROI池化网络包括三个设有不同的IoU阈值的ROI池化网络单元，所述输出网络包括三个与所述ROI池化网络单元相对应的输出网络单元，每个输出网络单元包括三层全连接层和两个激活函数层。6.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，
其特征在于，步骤(2)定义损失函数具体包括定义定位损失函数、定义分类损失函数、定义RGB色彩分离的双路特征融合网络损失函数。7.根据权利要求6所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，定义定位损失函数具体指的是：设图像块x上预测的边界框坐标：b＝(b
x
,b
y
,b
w
,b
h
)，从训练样本集中学习一个回归器f(x,b)，将候选边界框b回归到目标边界框g：(x,b)，将候选边界框b回归到目标边界框g：其中，L
loc
对距离矢量Δ进行计算，结果如下Δ＝(δ
x
，δ
y
，δ
w
，δ
h
)：δ
...

【专利技术属性】
技术研发人员：刘静，王奕卓，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：