本发明专利技术涉及一种基于多模态数据注意力模型实现危险品识别的系统，其中，该系统包括特征提取处理模块，用于输入透视图像以及背散射图像进行图像特征向量的提取；注意力融合处理模块，用于对提取的各个图像特征的进行注意力融合处理；识别输出模块，用于根据具体识别任务，对获取到图像进行图像分类、类型检测、像素分割和有效原子序数映射的训练处理。本发明专利技术还涉及一种相应的方法、装置、处理器及其存储介质。采用了本发明专利技术的该基于多模态数据注意力模型实现危险品识别的系统、方法、装置、处理器及其存储介质，不仅能够识别行李包裹内枪支刀具、打火机等具有形状特征的危险品，也可提取容器内液体的物质成分，实现易燃液体等危险品的不开包识别。的不开包识别。的不开包识别。
【技术实现步骤摘要】
基于多模态数据注意力模型实现危险品识别的系统、方法、装置、处理器及其存储介质
[0001]本专利技术涉及计算机视觉
，尤其涉及图像识别
，具体是指一种基于多模态数据注意力模型实现危险品识别的系统、方法、装置、处理器及其计算机可读存储介质。
技术介绍
[0002]X射线检查设备是安全检查领域应用最广泛的设备之一，传统X射线设备多采用透视成像技术对乘客携带的行李包裹进行非接触式成像，通过读图的方式快速排查有无危险品，识别种类受限，智能化水平低，严重依赖工作人员的读图水平，影响安检效率和危险品的识别准确率。随着大数据、深度学习等新技术发展，部分X射线安检设备通过内嵌基于深度学习的图像识别算法模块，对X射线图像中的物体形状等进行学习，在一定程度上识别枪支、刀具等具有明显形状特征的危险品，但该技术不具备物质特性分辨能力，无法识别行李包裹内汽油、酒精等液态危险品。X射线背散射技术是另一种探测成像技术,它对有效原子序数低、密度高的有机物敏感，可凸显易燃易爆物品等危险品，进一步提高检查准确率。
[0003]在基于深度学习的危险品识别技术中，卷积神经网络(CNNs)被广泛用作X射线图像的特征提取器。在多模态数据融合上，虽可通过输入同一行李包裹的透视、背散射图像，建立多流深度架构，但该技术有两个缺点，一是不同模态的特征提取是单独进行的，两种模态数据中一些重要的共享高级功能被遗漏；二是将该方法单独提取的特征进行简单串联或合并可能具有冗余信息，因此系统可能容易过拟合。
技术实现思路
[0004]本专利技术的目的是克服了上述现有技术的缺点，提供了一种能够实现交叉注意融合特征提取的基于多模态数据注意力模型实现危险品识别的系统、方法、装置、处理器及其计算机可读存储介质。
[0005]为了实现上述目的，本专利技术的基于多模态数据注意力模型实现危险品识别的系统、方法、装置、处理器及其计算机可读存储介质如下：
[0006]该基于多模态数据注意力模型实现危险品识别的系统，其主要特点是，所述的系统包括：
[0007]特征提取处理模块，用于通过基础神经网络对输入透视图像以及背散射图像进行图像特征向量的提取；
[0008]注意力融合处理模块，与所述的特征提取处理模块相连接，用于对多个提取阶段获取到的各个图像特征的自注意力以及交叉注意力进行融合处理，得到融合图像特征；以及
[0009]识别输出模块，与所述的特征向量拼接处理模块相连接，用于根据具体识别任务，对获取到图像进行图像分类、类型检测、像素分割和有效原子序数映射的训练处理。
[0010]较佳地，所述的特征提取处理模块具体为：
[0011]将经过X射线透视处理的透视图像的高能图像训练样本T
H
和低能图像训练样本T
L
以及背散射图像进行透视图像特征的提取处理。
[0012]较佳地，所述的注意力融合处理模块包括：
[0013]自注意力处理单元，用于对经过卷积神经网络模型处理的透视图像生成空间注意掩码，并对所述的背散射图像生成物质注意掩码；
[0014]交叉注意力处理单元，与所述的自注意力处理单元相连接，用于将物质特征用图像特征进行增强处理；
[0015]模态融合提取单元，与所述的自注意力处理单元以及交叉注意力处理单元相连接，用于对所述的透视图像和背散射图像进行输出组合处理，以突出两种模态的重要部分。
[0016]较佳地，所述的识别输出模块包括：
[0017]检测子模块，与所述的注意力融合处理模块相连接，用于检测和识别图像中的感兴趣物体并输出其包围框；
[0018]分割子模块，与所述的注意力融合处理模块相连接，用于将图像中的像素按照对应的物体类别进行识别处理；以及
[0019]原子序数回归子模块，与所述的注意力融合处理模块相连接，用于估计扫描物体逐个像素的等效原子序数。
[0020]该利用上述系统实现基于多模态数据注意力模型的危险品识别的方法，其主要特点是，所述的方法包括以下步骤：
[0021](1)基础神经网络对输入原始的透视图像和背散射图像进行特征提取处理；
[0022](2)基于注意力机制进行多模态信息融合处理；
[0023](3)对获取到的图像进行多任务联合学习的网络训练和推理处理。
[0024]较佳地，所述的步骤(1)包括以下步骤：
[0025](1.1)通过基础神经网络对输入的原始透视图像和背散射图像进行特征提取；
[0026](1.2)输入为安检机采集的高为W1、宽为H1和特征维数为D1的透视图像和背散射图像，并输出第一特征张量W1×
H1×
D1。
[0027]较佳地，所述的步骤(1.1)在具体实现中采用深层卷积神经网络，由若干层的卷积和pooling层组成，每个卷积操作的输出由批量标准化，多个不同阶段之间有残差连接保证训练的时候梯度传递更顺畅，从而更容易训练。
[0028]较佳地，所述的步骤(2)包括：
[0029](2.1)通过多个级联交叉的自注意力层和互注意力层，融合透视和背散射图像的特征，得到融合的多模态特征；
[0030](2.2)单独输入每个模态特征高为W2，宽为H2和特征维数为D2的特征张量，并经过若干注意力层处理融合之后，输出第二特征张量W2×
H2×
D2。
[0031]较佳地，所述的步骤(3)具体包括以下步骤：
[0032](3.1)所述的检测子模块参照Region Proposal Network和ROIAlign层，进行危险物品的检测，并输出感兴趣类别的包围框信息；
[0033](3.2)所述的分割子模块通过反卷积层和上采样层，实现像素级的分割，提取危险物品的边缘；
[0034](3.3)所述的有效原子序数回归模块生成行李包裹对应的有效原子序数映射图谱，用于辅助识别行李包裹内包含的危险物品。
[0035]较佳地，在手工标注数据集上，通过标注的训练集对所述的特征提取处理模块、注意力融合模块和识别输出模块根据最终多个任务的联合损失函数进行多任务训练，以得到更优的网络参数。
[0036]该基于多模态数据注意力模型实现危险品识别的装置，其主要特点是，所述的装置包括：
[0037]处理器，被配置成执行计算机可执行指令；
[0038]存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的基于多模态数据注意力模型的危险品识别的方法的各个步骤。
[0039]该基于多模态数据注意力模型实现危险品识别的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于多模态数据注意力模型的危险品识别的方法的各个步骤。
[0040]该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于多模态数据注意力模型本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态数据注意力模型实现危险品识别的系统，其特征在于，所述的系统包括：特征提取处理模块，用于通过基础神经网络对输入透视图像以及背散射图像进行图像特征向量的提取；注意力融合处理模块，与所述的特征提取处理模块相连接，用于对多个提取阶段获取到的各个图像特征的自注意力以及交叉注意力进行融合处理，得到融合图像特征；以及识别输出模块，与所述的特征向量拼接处理模块相连接，用于根据具体识别任务，对获取到图像进行图像分类、类型检测、像素分割和有效原子序数映射的训练处理。2.根据权利要求1所述的基于多模态数据注意力模型实现危险品识别的系统，其特征在于，所述的特征提取处理模块具体为：将经过X射线透视处理的透视图像的高能图像训练样本T
H
和低能图像训练样本T
L
以及背散射图像进行透视图像特征的提取处理。3.根据权利要求2所述的基于多模态数据注意力模型实现危险品识别的系统，其特征在于，所述的注意力融合处理模块包括：自注意力处理单元，用于对经过卷积神经网络模型处理的透视图像生成空间注意掩码，并对所述的背散射图像生成物质注意掩码；交叉注意力处理单元，与所述的自注意力处理单元相连接，用于将物质特征用图像特征进行增强处理；模态融合提取单元，与所述的自注意力处理单元以及交叉注意力处理单元相连接，用于对所述的透视图像和背散射图像进行输出组合处理，以突出两种模态的重要部分。4.根据权利要求3所述的基于多模态数据注意力模型实现危险品识别的系统，其特征在于，所述的识别输出模块包括：检测子模块，与所述的注意力融合处理模块相连接，用于检测和识别图像中的感兴趣物体并输出其包围框；分割子模块，与所述的注意力融合处理模块相连接，用于将图像中的像素按照对应的物体类别进行识别处理；以及原子序数回归子模块，与所述的注意力融合处理模块相连接，用于估计扫描物体逐个像素的等效原子序数。5.一种利用权利要求1至4所述的系统实现基于多模态数据注意力模型的危险品识别的方法，其特征在于，所述的方法包括以下步骤：(1)基础神经网络对输入原始的透视图像和背散射图像进行特征提取处理；(2)基于注意力机制进行多模态信息融合处理；(3)对获取到的图像进行多任务联合学习的网络训练和推理处理。6.根据权利要求5所述的实现基于多模态数据注意力模型的危险品识别的方法，其特征在于，所述的步骤(1)包括以下步骤：(1.1)通过基础神经网络对输入的原始透视图像和背散射图像进行特征提取；(1.2)输入为安检机采集的高为W1、宽为H1和特征维数为D1的透视图...
【专利技术属性】
技术研发人员：常青青，李维姣，沈天明，刘伟豪，欧阳光，姚鸿达，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。