基于分层传播和激活的弱监督X光图像违禁品检查方法技术

本发明专利技术公开了一种基于分层传播和激活的弱监督X光图像违禁品检查方法，其实现过程为：首先获取X光图像数据，及其对应的图像类别，并形成训练样本集和测试样本集；然后在训练样本集上通过卷积神经网络(CNN)自上而下的分层结构得到特征图；分层传播激活的方法通过自上而下的层间和层内置信度的传播推动各层特征图的激活，最终得到违禁品的准确位置。本方法利用弱监督标注信息学习图像识别模型，在对图像进行标注时只需要简单的指定图像中有无违禁品以及违禁品的类别信息，不需要对图像中违禁品的具体位置进行精确标注，从而大幅的减少了人工标注的成本，本发明专利技术对于实现违禁品目标的智能检测、减少安检过程中不必要的重复工作具有极为重要的意义。

Detection of contraband in weak-supervised X-ray images based on hierarchical propagation and activation

The invention discloses a method for checking contraband in weak supervised X-ray image based on hierarchical propagation and activation, which realizes the following steps: firstly, acquiring X-ray image data and corresponding image categories, forming training sample set and test sample set; secondly, obtaining feature map through top-down hierarchical structure of convolutional neural network (CNN) on training sample set; secondly, the method of hierarchical propagation activation is implemented. The method promotes the activation of each layer's feature map through the propagation of top-down interlayer and intra-layer confidence, and finally obtains the exact location of contraband. This method uses weak supervised labeling information to learn image recognition model. When labeling an image, it only needs to specify whether there is contraband or not in the image and the category information of contraband. It does not need to label the specific position of the contraband in the image accurately, thus greatly reducing the cost of manual labeling. The invention can realize intelligent detection of contraband objects and reduce security. Unnecessary duplication of work in the inspection process is of great significance.

【技术实现步骤摘要】
基于分层传播和激活的弱监督X光图像违禁品检查方法
本专利技术属于安检领域，涉及图像处理和分类，特别涉及一种基于分层传播和激活的弱监督X光图像违禁品检查方法。
技术介绍
自动的X光图像安全检查技术是保障公共安全的重要手段，对于保障人、机场、船舶、货物流通以及关键基础设施的安全具有重要作用。目前，公共安全领域对违禁物品的主要查验手段是利用人工查看X光图像。随着全球旅行中越来越多的乘客和对运输安全方面更广泛的关注，安检人员的工作强度逐渐增大，长时间的X光图像检查工作给他们带来了巨大的负担和压力。如何缓解公共安全领域安检效率低与安检需求量大之间的矛盾已成为一个亟待解决的问题。根据2013年海关统计数据，除传统货运渠道，我国进出口邮件已超过5亿个；2014年，我国成为世界第一快递、物流大国。寄递、物流业快速发展，在方便人们工作生活的同时，也带来一些安全隐患。以海关为例，其自动化分拣线与检验设备集成度不高，需要人工将邮件从分拣线挑选出来，采用搬运小车拉到检验设备人工完成检验，然后再将邮件放到自动化分拣线上。整个过程繁琐复杂，并且会需要大量的人力资源。为提高自动化应用水平，降低工作人员工作强度，有必要提供一种基于弱监督深度学习方法，研究自动识别违禁品包裹的算法，将具有违禁品的箱包和包裹分拣至待检区域，减少安检人员工作量，辅助安检人员减少违禁品的漏检和误检。传统的监督学习模型往往需要在大量的图像中精确标注每一个目标的位置。虽然这类方法能够依靠大量的标注信息学习目标识别和定位信息，但是对数据的标注提出了非常高的要求。对图像数据集中的每一个目标精确标注的这一过程耗时耗力，这很大程度上影响了算法在海量数据上的扩展，限制了深度学习算法对大数据集的利用。除此之外，大量X光数据只包含类别标号(有无违禁品)，没有精确的违禁品目标位置。结合X光安检的具体问题，弱监督学习需要识别出包裹是否包含违禁品的信息以及违禁品的大概位置，以供安检员进一步查验。综合样本标注和实际应用两个方面，采用弱监督的学习框架相较于传统监督框架更具操作性。学习过程中只要求对图像中是否出现过某类目标给出标注，该标注工作和图像分类的标注工作一致，显著降低了标注工作量。X光图像因为其成像方式的不同导致X光数据集有鲜明的不同于传统光学图像数据集的特点。X光图像在成像过程中会将相同材质的物体投影为相同的颜色，案件过程中因为要将立体的物体向一个方向投影会导致生成的图像中有很多遮挡的情况，当物体被遮挡时，它们通常是半透明的，而不是在光学图像中不可见。X光图片中即使同一个类别的违禁品的形态、大小相差都比较大。同时在实际的应用中，X光图片中含有违禁品的图像要占少数，大多数都是不含违禁品的图像，所以X光图片中还存在正反例不平衡的问题。
技术实现思路
为了克服上述问题，本专利技术人进行了锐意研究，针对X光图片中存在的问题，提出了基于分层传播和激活的弱监督X光图像违禁品检查方法，利用X光成像的特殊性，即X射线的色彩空间比光学数据集的色彩空间更加单一，相同材质的物体会被投影到相似的颜色中，本专利技术提出的方案中分层传播的机制能够很好的利用这个特点，以发现同一类别中目标之间的相似性，采用分层激活的方法激活特征图像中的显著性区域(响应值高的区域)，能够有效的减轻目标大小不一、遮挡严重的问题；采用定义加权损失函数的方法，正例样本少，赋予较大的损失权重，反例样本多，赋予较小的损失权重，减轻正反例图片不平衡的问题。实验表明，该方法取得了优越的分类性能，提高了定位的稳定性和精度，从而完成本专利技术。本专利技术提供了一种基于分层传播和激活的弱监督X光图像违禁品检查方法，技术方案主要包括以下方面：(1)一种弱监督X光图像违禁品检查的方法，所述方法包括以下步骤：步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集；步骤2)，将训练样本集中图片输入到自上而下分层的卷积神经网络，进行特征提取，将特征分类，得到分类模型；步骤3)，利用训练好的分类模型，对测试样本集中的未知图像进行分类预测以及定位信息预测。(2)根据上述(1)所述的方法，所述步骤2)还包括分类模型优化的过程，该过程包括以下步骤：步骤2.4)设计加权损失函数，根据损失函数计算梯度，对整个卷积层网络进行梯度反传，并更新卷积层网络参数；步骤2.5)根据加权损失函数计算得到的分类误差判定网络是否收敛(即误差值不再减小)，或者判定是否已经达到最大迭代次数，如果网络收敛或已经达到最大迭代次数，停止网络训练，否则跳转至步骤2.1)。根据本专利技术提供的一种基于分层传播和激活的弱监督X光图像违禁品检查方法，具有以下有益效果：(1)本方法基于弱监督学习，只需要相关场景中的弱标注数据(即只标注图像标号，不需要对图像中的目标进行位置标注)进行训练，可行性和实用性大大提高；(2)针对X光图像成像的特点，提出了分层传播网络结构，分层的结构可以使网络有效的学习大小不一的目标，传播机制能够发现同一目标的相似性，使得网络能够学习到更精细的目标信息；(3)本方法采用分层激活的机制，使得网络能够激活最深层特征图上的显著性区域，同时利用目标之间的相似性，去除背景信息的干扰，有效的提高分类的性能；(4)本方法针对图像中正反例图片分布不均衡的问题，设计了加权损失函数，通过给正例的损失函数乘以比较高的权重，使其在反向传播的过程中能够激活更多的神经元，提高正例的分类性能。附图说明图1示出本专利技术分类模型的结构示意图；图2示出实施例1中验证模型所用训练样本集和测试样本集图片示例；图3示出传播和激活模块在SIXray-S数据集上分类和点定位的效果；图4示出不同反例-正例图片比例的测试样本对分类结果的影响；图5示出不同反例-正例图片比例的测试样本对点定位准确性的影响。具体实施方式下面通过附图对本专利技术进一步详细说明。通过这些说明，本专利技术的特点和优点将变得更为清楚明确。如图1所示，本专利技术提供了一种弱监督X光图像违禁品检查方法，所述方法包括以下步骤：步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集；步骤2)，将训练样本集中图片输入到自上而下分层的卷积神经网络(CNN)，进行特征提取，将特征分类，得到分类模型；步骤3)，利用训练好的分类模型，对测试样本集中的未知图像(即没有任何标注信息的图像)进行分类预测以及定位信息预测。步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集。在一种优选的实施方式中，为了实验的准确性和可比性，训练样本集的反例图片(即不包含违禁品的图片)和正例图片(即包含违禁品的图片)比例相近，如反例图片和正例图片的比例为2:1，该训练样本集中的图片是模拟的，同时训练样本集中的图片有比较少的遮挡情况，用来调整算法中的参数。测试样本集中的图片都来自于真实场景，反例图片和正例图片的比例相差较大，如反例、正例比例达到100:1，该测试样本集中图片背景复杂并且遮挡情况比较严重，用来验证分类模型的有效性。训练样本集中图片只给定图像标号、不标注目标位置，其中图像标号只表明该图像中是否含有违禁品。假定训练数据集共有D张X光图像，用表示，xd为输入图片，C表示总类别数，yd＝(yd1,yd2,...,ydc,...,ydC)为输入图片xd的类别标注信息。如果输入图片本文档来自技高网...

【技术保护点】
1.一种弱监督X光图像违禁品的检查方法，其特征在于，所述方法包括以下步骤：步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集；步骤2)，将训练样本集中图片输入到自上而下分层的卷积神经网络，进行特征提取，将特征分类，得到分类模型；步骤3)，利用训练好的分类模型，对测试样本集中的未知图像进行分类预测以及定位信息预测。

【技术特征摘要】
1.一种弱监督X光图像违禁品的检查方法，其特征在于，所述方法包括以下步骤：步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集；步骤2)，将训练样本集中图片输入到自上而下分层的卷积神经网络，进行特征提取，将特征分类，得到分类模型；步骤3)，利用训练好的分类模型，对测试样本集中的未知图像进行分类预测以及定位信息预测。2.根据权利要求1所述的方法，其特征在于，步骤1)中，训练样本集中图片只给定图像标号、不标注目标位置，其中图像标号只表明该图像中是否含有违禁品。3.根据权利要求1所述的方法，其特征在于，步骤1)中，获取X光图像数据后进行预处理，所述预处理包括归一化处理；优选地，归一化处理通过获得图片像素平均值和方差，将图片中每个像素减去像素平均值后再除以方差进行。4.根据权利要求1所述的方法，其特征在于，步骤2)包括以下子步骤：步骤2.1)，构造自上而下分层的卷积神经网络，对由训练样本集中选择的图片提取特征并进行层内层间的置信度传播；步骤2.2)，在每层的最后一个卷积层的特征图上使用激活的方法进行特征提取，即采用分层激活的方法激活特征图；步骤2.3)，利用卷积神经网络的全连接层对步骤2.2)中提取出的特征分类，得到该图片属于每个类别的概率，即构建完成分类模型；其中，自上而下分层的卷积神经网络为将卷积神经网络中产生多级侧输出，侧输出产生的卷积层和原始卷积层形成自上而下类似金字塔的结构。5.根据权利要求1所述的方法，其特征在于，步骤2.1)中，层间传播通过以下步骤得到：上层的置信度传播图通过上采样以和下层的特征图有相同的空间分辨率，并和下层特征图进行级联，通过1×1的卷积层进行卷积，这样两层的特征进行了融合，并且置信度从上层传到了下层；层间置信度传播公式如式(1)所示：Ml←Wl*∧(Ml+1,Fl)式(1)其中，Ml表示第l层的置信度传播图，Fl∈RK×N×N表示第l层特征图有K个维度并且每个维度特征图的大小为N×N，N表示特征图的高和宽；R代表实数；∧(·)表示将l+1层的置信度传播图Ml+1上采样后和第l层特征图Fl进行级联的操作；Wl是1×1卷积层的参数；“*”是卷积操作。6.根据权利要求1所述的方法，其特征在于，步骤2.1)中，层内传播...

【专利技术属性】
技术研发人员：叶齐祥，苗彩敬，焦建彬，韩振军，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：北京,11