基于弱监督和深度响应重分配的X光图片违禁品定位方法技术

本发明专利技术提供了基于深度卷积神经网络的弱监督X光图片违禁品定位方法，该方法设计了一个可与传统深度卷积神经网络联合学习的深度响应重分配模块，在深度特征空间无监督地计算目标概率，重新分配深度响应，过滤反例样本，引导网络集中学习正例样本。在训练好的定位模型中增加全连接层，将增加的全连接层转换为卷积层作为新的目标定位分支；全连接层转换后的卷积层输出类别响应图，原始全连接层输出目标类别的预测得分，一次前向传播可同时获得图片目标类别预测得分和类别响应图，完成目标定位。本发明专利技术方法通过无监督的深度响应重分配模块实现基于弱监督的深度学习框架，在海量X光图片违禁品定位的实际应用中灵活性大，效率高，实用性强。

Location of contraband in X-ray images based on weak supervision and depth response redistribution

【技术实现步骤摘要】
基于弱监督和深度响应重分配的X光图片违禁品定位方法
本专利技术涉及计算机视觉和图像处理领域，尤其涉及一种公共安全检测领域的基于弱监督深度学习和深度响应重分配的类不均衡X光图片违禁品检测方法。
技术介绍
X光图片违禁品检测是公共安全领域的一个关键问题，它的主要目的是在伪彩色处理后的X光图片中准确检测其是否包含违禁品，如刀和枪，并能在复杂的遮挡干扰情况下定位违禁品，为人工开箱查验提供线索。这在目前交通枢纽安检、物流安检等应用中具有重要意义。随着X光机安检设备的发展普及，以及国内物流运输量的扩大，数以万计的设备在全天不停歇地采集数据，形成了海量数据库。目前，X光图片中的违禁品检测以人工查验为主，相关工作人员需要时刻监视画面，并在较短的时间内给出人工判定结果。这不仅费时费力，而且人工查验若遗漏违禁品，则可能会引发严重后果。因此，自动化违禁品检测技术以其成本低、效率高、稳定性强等优点受到了人们的广泛关注。如何利用各种技术手段如计算机视觉、深度学习等有效地解决X光图片违禁品检测在实际应用中面临的各种问题，从而能够在实际场景中稳定高效地输出准确结果是研究人员的主要探索方向。X光图片违禁品定位主要的挑战有：视角固定、容错率低、速度要求高、目标形态变化多样、目标遮挡情况严重、正反例样本(存在违禁品和不存在违禁品的图片)极不均衡等。这些因素极大地阻碍了传统目标定位方法在实际场景中的应用。针对这些问题，研究者们提出了许多算法和解决方案，大部分目标定位方法主要由预选框提取和预选框分类两部分组成。目标定位本质上是要确定一个包含指定类别目标的图片子区域，大部分方法是首先根据颜色、纹理、边缘、梯度等信息计算目标预选框，即可能存在目标的区域，再判定每个区域所包含目标的类别，从而筛选出最符合的预选框。现有方法存在的主要问题有：(i)监督学习标注成本高。现有大部分X光图片违禁品检测方法是基于监督学习的，即通过标定违禁品的具体目标位置来学习得到检测器模型。虽然这类方法能够依靠大量的标注信息学习目标识别和定位信息，但是对数据的标注提出了非常高的要求。对图片数据集中的每一个目标精确标注的这一过程耗时耗力，这很大程度上影响了算法在海量数据上的扩展，限制了深度学习算法对大数据集的利用。(ii)预选框质量差。目前的预选框提取算法主要是根据颜色纹理相似性或边缘闭合性等局部特征，计算得出可能包含目标的预选框。然而，在X光图片中如果出现违禁品，往往有刻意遮挡的情况出现，虽然X光图片在成像过程中会将相同材质的物体投影为相同的颜色，若安检时立体的物体向一个方向投影导致生成的图片中有很多遮挡的情况，在X光图片中被遮挡的相同材质的物体无法通过颜色或边缘闭合性直观体现其同类性，此时提取的预选框将主要包含违禁品目标的局部区域，较难包含目标主体区域，从而影响违禁品目标识别精度。(iii)速度慢。现有技术中，首先要对每副图片提取约2000个预选框，平均每幅图耗时约2秒，接着需要对每个预选框判定类别得分，再筛选出类得分较高的预选框融合后作为目标检测结果。
技术实现思路
为了克服上述问题，本专利技术人进行了锐意研究，为了克服上述问题，提出了一种基于弱监督深度学习和深度响应重分配的X光图片违禁品定位方法。针对数据标定问题，本专利技术中方法基于弱监督学习，只需要标定图片类别，即图片中是否存在某类违禁品，无需逐个标定违禁品目标的具体位置，实用性大大提高；针对预选框质量问题，本专利技术中方法首次提出深度响应重分配模块，基于图片的深度特征计算不同位置的响应关系，将不同位置的响应重新分配，无需基于颜色边缘等信息计算目标框；由于本专利技术方法中的深度响应重分配模块可直接插入到深度学习框架中，与原网络联合优化，在实际检测时，一幅图片只需前向传播一次即可得到目标定位结果，时间效率大大提升。实验表明，该本专利技术方法取得了优越的分类性能，提高了定位的稳定性和精度，从而完成本专利技术。本专利技术的目的在于提供以下技术方案：(1)一种基于弱监督和深度响应重分配的X光图片违禁品定位方法，该方法包括以下定位模型的训练步骤：步骤1)，将深度响应重分配模块插入到传统卷积神经网络中任意卷积层后，得到优化后的卷积神经网络，即深度响应重分配网络；步骤2)，将X光图片输入到深度响应重分配网络，深度响应重分配模块基于前层卷积层输出的特征图计算图片中每个位置的目标响应关系，得到深度响应重分配矩阵；步骤3)，将深度响应重分配矩阵与特征图融合以更新特征图，将该更新后的特征图继续前向传播至全局均值聚合层与全连接层，得到图片的分类预测结果，获得训练后的定位模型。(2)根据上述(1)所述的方法，所述步骤3)还包括对定位模型优化的过程，该过程包括以下步骤：步骤3.1)，设计加权损失函数，根据损失函数计算分类结果相对于标注的误差E，误差E以梯度δ形式反向传播，深度响应重分配模块将前向传播时计算得到的深度响应重分配矩阵F作用于梯度矩阵，重新分配梯度，进一步更新卷积层网络参数；步骤3.2)，根据加权损失函数计算得到的分类误差判定网络是否收敛即误差值不再减小，或者判定是否已经达到最大迭代次数，如果网络收敛或已经达到最大迭代次数，停止模型训练，否则跳转至步骤2)。特别地，定位模型优化的过程还包括：在训练好的定位模型中增加全连接层，将增加的全连接层转换为卷积层作为新的目标定位分支；全连接层转换后的卷积层与原始全连接层作为定位模型的两个输出分支，全连接层转换后的卷积层输出类别响应图，原始全连接层输出目标类别的预测得分；优选地，全连接层转换为卷积层的步骤为：将全连接层转换为K×C个1×1卷积核的卷积层，并将偏置项设为0，其中，K为输入维度(即通道数)，C为输出维度(即目标类别数)，K×C为全连接层参数总量，将全连接层参数根据特征向量每一维和目标类别之间的连接关系赋值给卷积核。(3)根据上述(1)所述的方法，所述方法还包括测试部分，利用训练好的定位模型，预测未知图片中出现的目标类别并实施目标定位，具体步骤如下：步骤3.1)，将给定的未知图片输入到训练好的深度响应重分配网络，深度响应重分配模块基于前层卷积层输出的特征图计算得到深度响应重分配矩阵；步骤3.2)，将深度响应重分配矩阵与特征图融合以更新特征图，将该更新后的特征图继续前向传播得到每个类的类别响应图和/或分类预测得分；如果判断图片中存在某类违禁品，根据类别响应图计算X光图片目标定位结果，目标定位结果包括锚点定位、框定位和分割定位中的一种或多种。根据本专利技术提供的一种基于弱监督和深度响应重分配的X光图片违禁品定位方法，具有包括以下的有益效果：(1)本专利技术方法基于弱监督学习，只需要标注图片中是否出现违禁品，无需标注违禁品的具体位置，可行性和实用性大大提高；(2)针对传统弱监督方法中预选框质量和提取速度的限制，本专利技术方法提出基于深度特征的深度响应重分配矩阵，以二维矩阵的形式动态重分配目标响应位置，并与卷积神经网络联合优化，使得深度响应位置更加贴合实际任务的需求；(3)本专利技术方法中的深度响应重分配模块基于随机游走算法，测试时每幅图像前向传播一次的平均耗时约0.9毫秒，相比传统预选框提取算法约200～2000毫秒的耗时，大大降低了时间成本；(4)本专利技术方法根据类别响应图可得到点定位和框定位等多种不同精细程度的定位结果，可灵活本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的弱监督X光图片违禁品定位方法，其特征在于，该方法包括以下定位模型的训练步骤：步骤1)，将深度响应重分配模块插入到传统卷积神经网络中任意卷积层后，得到优化后的卷积神经网络，即深度响应重分配网络；步骤2)，将X光图片输入到深度响应重分配网络，深度响应重分配模块基于前层卷积层输出的特征图计算图片中每个位置的目标响应关系，得到深度响应重分配矩阵；步骤3)，将深度响应重分配矩阵与特征图融合以更新特征图，将该更新后的特征图继续前向传播至全局均值聚合层与全连接层，得到图片的分类预测结果，获得训练后的定位模型。

【技术特征摘要】
1.一种基于深度卷积神经网络的弱监督X光图片违禁品定位方法，其特征在于，该方法包括以下定位模型的训练步骤：步骤1)，将深度响应重分配模块插入到传统卷积神经网络中任意卷积层后，得到优化后的卷积神经网络，即深度响应重分配网络；步骤2)，将X光图片输入到深度响应重分配网络，深度响应重分配模块基于前层卷积层输出的特征图计算图片中每个位置的目标响应关系，得到深度响应重分配矩阵；步骤3)，将深度响应重分配矩阵与特征图融合以更新特征图，将该更新后的特征图继续前向传播至全局均值聚合层与全连接层，得到图片的分类预测结果，获得训练后的定位模型。2.根据权利要求1所述的方法，其特征在于，步骤2)中，X光图片只给定图片类别标号，即图片中是否含有某类违禁品，不标注违禁品目标的具体位置。3.根据权利要求1所述的方法，其特征在于，步骤2)中，通过以下步骤生成深度响应重分配矩阵：基于特征图构建连通带权图，连通带权图中每个结点代表特征图中的每个像素位置，计算任意两个节点之间的有向边权值；根据有向边权值得到连通带权图的权值矩阵；基于权值矩阵求解深度响应重分配矩阵。4.根据权利要求3所述的方法，其特征在于，两个结点之间的有向边权值通过相似度度量方法计算得到：其中，(i,j)和(p,q)为连通带权图上的两个结点，di,j；p,q为两结点之间的有向边权值，||·||表示L2正则化，∈为距离系数，控制相邻像素点距离对相似度的影响，表示连通带权图上结点(i,j)具有的特征向量，表示连通带权图上结点(p,q)具有的特征向量。5.根据权利要求3所述的方法，其特征在于，求解深度响应重分配矩阵的方式为：在连通带权图上通过随机游走算法迭代地更新每个像素位置的目标概率，具体为：深度响应重分配矩阵初始化，被展开为1×N2的向量且元素值均被设为1/N2，通过迭代乘以连通带权图的权值矩阵来更新深度响应重分配矩阵，当深度响应重分配矩阵的更新幅度非常小时，认为随机游走达到了稳定状态，即满足停止条件，得到深度响应重分配矩阵。任选地，深度响应重分配矩阵还可以通过求解下式直接得到：(I-ρAD)F＝δe式(6)其中，F为深度响应重分配矩阵；e为全为1的N维向量；D是由各个出度的倒数构成的对角矩阵；ρ为系数项，eTF＝1；A为边-顶点的关联矩阵；δ为系数项。6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：焦建彬，朱艺，叶齐祥，韩振军，张如飞，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：北京,11