基于特征图重赋权的X光违禁品包裹检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于特征图重赋权的X光违禁品包裹检测方法和装置，通过构建X光违禁品训练集，依次获取图像特征图、感兴趣区域特征图、类注意特征图，采用类注意特征图对感兴趣区域特征图做重赋权操作，得到单维特征向量，确定各类违禁品的预测类别，调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络，返回执行依次获取图像特征图、感兴趣区域特征图、类注意特征图的过程，重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，确定违禁品检测器，将待检测包裹输入违禁品检测器，以获取违禁品检测器输出的违禁品位置及违禁品类别，达到节省人力物力，降低检测成本的目的。

【技术实现步骤摘要】
基于特征图重赋权的X光违禁品包裹检测方法及装置
本专利技术涉及智能检测
，尤其涉及一种基于特征图重赋权的X光违禁品包裹检测方法、装置、计算机设备和存储介质。
技术介绍
X光图像是由X射线穿透待检测物体、根据物体的不同密度渲染出不同颜色所得到的图像，常用于安检识别违禁品。相比于普通图像，X光图像只有颜色和形状信息，物体的检测识别更为困难，所以X光违禁品检测一直是丞待解决的难题。特别是近几年交通行业和快速行业的发展造成了行李/快递安检方面的巨大压力。为了保障公共区域的安全，在乘坐大型交通工具前，要对所携带物品进行检查，禁止违禁品上车；快递包裹在投递前，需要预先检测包裹内是否有违禁品。安全起见，传统上，需要专业安检人员在X-光机旁边人工观察每一件包裹的X光图像，确认包裹是否含违禁品，这需要耗费极大的人力物力，且工作效率随着安检人员的疲劳度增加而降低，出现漏检和错检的情况也会相应的增多。目前判别包裹中的违禁品的主要方法主要是靠人力进行安检，通常需要几组工作人员轮流工作，每组包括至少一名专业安检人员和两名分拣人员，这样使传统的包裹检测方案存在效率低、成本高的问题。
技术实现思路
针对以上问题，本专利技术提出一种基于特征图重赋权的X光违禁品包裹检测方法、装置、计算机设备和存储介质。为实现本专利技术的目的，提供一种基于特征图重赋权的X光违禁品包裹检测方法，包括如下步骤：S10，采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；S20，将X光违禁品训练集输入特征提取网络，获得图像特征图；S30，将图像特征图输入区域建议网络，获得感兴趣区域特征图；S40，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；S50，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；S60，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；S70，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S20重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；S80，将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。在一个实施例中，所述特征提取网络包括卷积层、池化层与非线性映射层；所述卷积层执行的卷积操作包括：f2[x,y]＝f1[x,y]*w[x,y]，式中，f1[x,y]表示输入特征提取网络的图像，w[x,y]表示卷积核，f2[x,y]表示卷积后所得特征；所述非线性映射层执行的非线性映射操作包括：f3[x,y]＝max(0,f2[x,y])，其中，max()表示取较大值，f3[x,y]表示做非线性映射后得到的图像特征图。在一个实施例中，所述将图像特征图输入区域建议网络，获得感兴趣区域特征图包括：将图像特征图的各个点定义为锚点，以每个锚点为中心定义多个锚框，去除超图像特征图区域的锚框，得到有效锚框，识别有效锚框中表征违禁品的目标锚框，剔除所述目标锚框中重叠的锚框，在剩下的目标锚框中题取置信度最高的前n个锚框，作为感兴趣区域特征图。具体地，所述识别有效锚框中表征违禁品的目标锚框包括：获取有效锚框与真实标记框之间的交并比，将交并比大于设定阈值的有效锚框确定为目标锚框。在一个实施例中，所述采用类注意特征图对感兴趣区域特征图做重赋权操作包括：在感兴趣区域特征图中获取类注意特征图中各个元素的对应位，将类注意特征图中各个元素分别与感兴趣区域特征图中对应的元素相乘，以实现做重赋权操作。具体地，所述采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量包括：Vk＝mean(f5[x,y]×zk[x,y])，式中，Vk表示单维特征向量中的第k个元素，f5[x,y]表示感兴趣区域特征图，zk[x,y]表示类注意特征图中的第k个元素，mean()表示求平均值。在一个实施例中，所述将输出特征向量中得分最高的类别确定为各类违禁品的预测类别包括：若输出特征向量中得分最高的类别小于或等于预设的类阈值，则判定单维特征向量中不存在表征违禁品的特征，若输出特征向量中得分最高的类别大于预设的类阈值，则将输出特征向量中得分最高的类别确定为各类违禁品的预测类别。一种基于特征图重赋权的X光违禁品包裹检测装置，包括：采集模块，用于采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；第一输入模块，用于将X光违禁品训练集输入特征提取网络，获得图像特征图；第二输入模块，用于将图像特征图输入区域建议网络，获得感兴趣区域特征图；第三输入模块，用于将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；降维处理模块，用于采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；第四输入模块，用于将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；返回模块，用于采用调节后的特征提取网络、元特征提取器及分类回归网络返回第一输入模块重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；检测模块，用于将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例的基本文档来自技高网...

【技术保护点】
1.一种基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，包括如下步骤：/nS10，采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；/nS20，将X光违禁品训练集输入特征提取网络，获得图像特征图；/nS30，将图像特征图输入区域建议网络，获得感兴趣区域特征图；/nS40，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；/nS50，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；/nS60，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；/nS70，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S20重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；/nS80，将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。/n...

【技术特征摘要】
1.一种基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，包括如下步骤：
S10，采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；
S20，将X光违禁品训练集输入特征提取网络，获得图像特征图；
S30，将图像特征图输入区域建议网络，获得感兴趣区域特征图；
S40，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；
S50，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；
S60，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；
S70，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S20重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；
S80，将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。


2.根据权利要求1所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述特征提取网络包括卷积层、池化层与非线性映射层；
所述卷积层执行的卷积操作包括：
f2[x,y]＝f1[x,y]*w[x,y]，
式中，f1[x,y]表示输入特征提取网络的图像，w[x,y]表示卷积核，f2[x,y]表示卷积后所得特征；
所述非线性映射层执行的非线性映射操作包括：
f3[x,y]＝max(0,f2[x,y])，
其中，max()表示取较大值，f3[x,y]表示做非线性映射后得到的图像特征图。


3.根据权利要求1所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述将图像特征图输入区域建议网络，获得感兴趣区域特征图包括：
将图像特征图的各个点定义为锚点，以每个锚点为中心定义多个锚框，去除超图像特征图区域的锚框，得到有效锚框，识别有效锚框中表征违禁品的目标锚框，剔除所述目标锚框中重叠的锚框，在剩下的目标锚框中题取置信度最高的前n个锚框，作为感兴趣区域特征图。


4.根据权利要求3所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述识别有效锚框中表征违禁品的目标锚框包括：
获取有效锚框与真实标记框之间的交并比，将交并比大于设定阈值的有效锚框确定为目标锚框。


5.根据权利要求1所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述采用类注意特征图对感兴趣区域特征图做重赋权操作包括：
在感兴趣区域特征图...

【专利技术属性】
技术研发人员：高红霞，廖宏宇，林国远，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44