一种基于毫米波图像人体上下文信息的危险物体检测方法技术

本发明专利技术属于图像处理技术领域，具体为一种基于毫米波图像人体上下文信息的危险物体检测方法。本发明专利技术首先利用卷积神经网络对输入的毫米波图像进行下采样操作，在高层特征空间中使用自顶而上结构来恢复人体上下文信息，将下采样阶段获得到的人体携带物与自顶而下结构获得的人体上下文信息相融合，共同预测前景目标；另外，针对初始化的候选框不能有效地匹配地面真实的问题，本发明专利技术采用辅助监督函数来给予初始化候选框坐标回归，在标准测试集与实际测试场景中提升模型的检出率。本发明专利技术可以实时、自动识别毫米波图像中的危险物体，大大提升安检、安防的效率。

A Method of Dangerous Object Detection Based on Context Information of Human Body in Millimeter Wave Images

【技术实现步骤摘要】
一种基于毫米波图像人体上下文信息的危险物体检测方法
本专利技术属于图像处理
，具体涉及一种人体携带危险物检测方法。
技术介绍
随着恐怖活动的升级，在机场、海关、人群密集区的安防系统的设计已经提上日程。传统安检安防系统主要包括针对人体的金属探测器和针对人体携带物的X射线系统。这种人、物分离的安检系统已经普遍地应用在各种安检场景，并且有效地提高了机场、海关、人群密集区等重要场所的安防能力。然而上述传统安检安防系统仍然存在一些缺陷。一方面，针对人体的金属探测器只能检测金属违禁物，例如，枪、刀；然而对于非金属类的危险物体，例如爆炸物、危险液体、陶瓷刀等较难检测[1]。另一方面，人、物分离的安检系统要求分别对人体和人体携带物采用不同的成像原理进行检查，在机场对人体的检查耗时要高于对人体携带物的检查耗时，因此，人、物分离的安检系统会受到其中一个子系统的耗时影响。毫米波成像系统[2]可以有效地解决上述问题。其能够穿透衣物和绝缘体的遮挡，并且是非电离辐射的，因此对人体是无害的。毫米波近距离成像系统按照工作方式可以分为被动式毫米波成像(PMMW)和主动式毫米波成像(AMMW)。前者利用毫米波辐射计，采集被测目标的热辐射或者散射分布特性后生成图像。而后者利用发射一定功率的不同波段的毫米波信号来照射被测对象，并且利用接收机采集被测对象返回的信号来重构被测对象的空间散射强度[3]。对比这两种方式，AMMW系统可以实现实时成像，成像质量也优于被动式系统。基于主动式毫米波成像系统的违禁物体自动化检测算法近年来已经被广泛研究。2017年底，美国国家安全局在Kaggle挑战赛中公开发布了名为“PassengerScreeningAlgorithmChallenge”的比赛，比赛采用的数据集是基于AMMW成像设备获取到的人体成像结果。挑战赛要求使用计算机视觉技术，自动化地识别带有违禁物体的人体图像。文献[5]将识别违禁物体看成是图像分割与分类任务，利用图像分割技术将人体分成17个区域，利用分类技术来识别每个人体区域中潜在的危险物，在Kaggle挑战赛中取得了良好的成绩。除了上述算法，[5][6]将识别违禁物体看成是前景目标检测任务，给定数据集[3],回归出危险物体在人体中的位置以及置信度。[5]提出概率累积图，其可以有效地获得前景目标的位置信息。[6]利用卷积神经网络提取特征，利用两阶段的目标检测器来定位人体中的潜在危险物。上述对毫米波图像的违禁物体检测算法都是采用卷积神经网络来提取特征，并且取得了一定的性能突破。然而上述算法都没有考虑到应用在安防领域中毫米波成像算法的一个重要特点—人体上下文信息。所有关于安防、安检的毫米波图像中，检测场景都是不变的，图像中的上下文关系也是固定的，人体上下文与违禁物体的分布也存在相关性。因此，仅使用训练集中违禁物体的外观特征来进行预测是一种不合理的预测方式，可能会导致漏检、误报等。下面介绍与本专利技术相关的一些重要概念：1、两阶段目标检测算法两阶段(two-stage)目标检测算法指提取候选框(anchors)和预测候选框的相对位置偏移与类别概率是在不同的阶段完成，由不同的代价函数来控制这两个阶段。第二个阶段的输入的是第一个阶段提取候选框的结果。第二阶段修正第一阶段产生的候选框的位置，并且对候选框中的物体类别做出判断。下面介绍候选框的概念，如图1所示，虚线的包围盒(BoundingBox)是真实标签(GroundTruth)，剩余颜色的包围盒是检测算法在检测开始之前生成的候选框，这些候选框是由不同长宽比、不同长宽的包围盒组成。具体生成候选框的方式参考步骤2.1.检测器会按照下述公式从候选框中来选择正负样本：其中，θ1和θ2分别为决策正负样本的阈值，IOU采用下述公式(2)计算，P表示候选框，G表示地面真实(GroundTruth)，Area(X)表示求解X包围盒的面积。按照公式(1)的选择候选框的规则会产生大量的负样本，导致正负样本不均衡的问题，因此在挑选出正样本之后，按照正负样本为1:3的比例挑选出一分部较难识别的负样本进行训练，而不是将所有的负样本都送入到第二阶段进行训练。一般来说，在FasterRCNN[7]，RPN[8]等两阶段检测器中，公式(1)中的决策正负样本的阈值θ1和θ2分别取0.5和0.3。2、一阶段目标检测算法一阶段(one-stage，或者称作one-shot)目标检测算法是指提取候选框和使用候选框来预测GroundTruth在一个阶段完成，通常是端到端的深度学习模型架构。一阶段检测算法初始化候选框的方式、判定正负样本的方式与两阶段检测算法相同，可参考上文。在SSD[9]中，θ1和θ2分别取0.5和0.5。在从候选框中合理地挑选出了一定比例的正负样本之后，训练的代价函数如下：其中，N是挑选出的正样本的个数。Lcls(I,C)表示类别预测，Lloc(I,P,G))表示位置回归预测，α表示惩罚因子，C是训练集中的类别个数，I是示性项，当且仅当第i个候选框和第j个GroundTruth匹配时，I＝1。回归项如公式(4)，和分别表示第i个候选框和第j个GroundTruth的中心点坐标，和分别表示第i个候选框和第j个GroundTruth的宽和高。是候选框发生的相对偏移。是对第i个候选框发生偏移的回归预测。类别预测项如公式(6)，是第i个候选框关于第k类的预测概率，是第i类候选框关于背景的预测概率。可以看到，初始化的候选框大小影响到了正负样本的数量。因此选用合理的宽和高初始化候选框可以有效地提高被选择的正样本数量。在具体实施方式中，本专利技术也采用实验说明了这一假设。
技术实现思路
本专利技术的目的是针对毫米波图像，提出一种基于人体上下文关系的危险物检测方法，使得机器可以自动化识别毫米波图像中的危险物体，达到实时性，有助于提升安检、安防的效率。本专利技术技术方案的思想如附图2，本专利技术流程分为：1,自下而上(bottom-up)；2，自顶而下(top-down)两个过程。其中，自下而上过程的功能是检测潜在的危险物体；自顶而下过程的功能是：a.恢复人体上下文信息，b.将来自于自下而上过程中的特征图与带有人体上下文信息的特征图进行融合，c.负责最终预测危险物体。当自下而上过程可以提取到有关于危险物体的特征图后，显著性模块(AttentionModule)采用注意力集中机制，选取一部分来自于自下而上(bottom-up)过程中的表达危险物体特征的特征图，将通过注意力集中机制后的结果与自顶而下的人体上下文结合。另外，由于初始化的候选框(详见背景介绍部分)并不能与地面真实(GroundTruth)产生较大的重合区域，从而导致候选框内含有较多的噪声信息。因此为了解决这个问题，本专利技术采用多任务学习，添加辅助监督(AuxiliarySupervision)，其通过自下而上过程的候选框的回归结果来初始化自顶而下过程的候选框。采用结合辅助监督与SSD代价函数的多目标优化方式来优化上述模型。本专利技术提供基于毫米波图像人体上下文信息的危险物体检测方法，包括构建网络结构的方法，设计代价函数的方法等，训练以及测试见具体实施方式部分。具体步骤如下：步骤1、自下而上：对毫米波图像进行下采样，并选择三个层级的特征图进行预测。1.本文档来自技高网...

【技术保护点】
1.一种基于毫米波图像人体上下文信息的危险物体检测方法，其特征在于，利用卷积神经网络下采样毫米波图像来获得抽象特征，通过自顶而下(top‑down)过程来恢复人体上下文信息，通过显著性融合模块的将人体携带物的特征与人体上下文的特征进行融合，最后利用辅助监督函数来修正初始化候选框发生的偏移；具体步骤如下：步骤1、自下而上：对毫米波图像进行下采样，并选择三个层级的特征图进行预测；1.1：将毫米波图像输入到卷积神经网络(CNN)中，提取特征，并进行下采样操作；所述卷积神经网络一共有10个卷积层，用于提取特征；这10个卷积层分别是：Conv1_1，Conv1_2，Conv2_1，Conv2_2，Conv3_1，Conv3_2，Conv3_3，Conv4_1，Conv4_2，Conv4_3；其中卷积核大小设置为3×3，卷积核移动步长大小为1，卷积边界处补0处理；由Conv1_2，Conv2_2，Conv3_3，Conv4_3的卷积核提取到的特征图，仍记为Conv1_2，Conv2_2，Conv3_3，Conv4_3；Conv1_2，Conv2_2，Conv3_3卷积核之后都采用最大池化操作来实现降采样操作，每个最大池化操作降采样图像大小两倍；1.2：对Conv4_3采用步骤1.1介绍的最大池化进行两次下采样操作，每次下采样两倍，下采样后得到的特征图命名为fc7,conv6_2；1.3：选取conv4_3、fc7、conv6_2这三个层级的特征图进行预测；特征图conv4_3对原始图像下采样8倍，特征图fc7对原始图像下采样16倍，特征图conv6_2对原始图像下采样32倍；这三个不同层级的特征图分别代表了不同尺度的危险物体；步骤2、自下而上：根据特征图，在毫米波图像中初始化候选框，并挑选出正负样本；2.1：针对conv4_3，fc7，conv6_2这三个层级的特征图中的每一个特征点，分别在原始图像中初始化第i个候选框...

【技术特征摘要】
1.一种基于毫米波图像人体上下文信息的危险物体检测方法，其特征在于，利用卷积神经网络下采样毫米波图像来获得抽象特征，通过自顶而下(top-down)过程来恢复人体上下文信息，通过显著性融合模块的将人体携带物的特征与人体上下文的特征进行融合，最后利用辅助监督函数来修正初始化候选框发生的偏移；具体步骤如下：步骤1、自下而上：对毫米波图像进行下采样，并选择三个层级的特征图进行预测；1.1：将毫米波图像输入到卷积神经网络(CNN)中，提取特征，并进行下采样操作；所述卷积神经网络一共有10个卷积层，用于提取特征；这10个卷积层分别是：Conv1_1，Conv1_2，Conv2_1，Conv2_2，Conv3_1，Conv3_2，Conv3_3，Conv4_1，Conv4_2，Conv4_3；其中卷积核大小设置为3×3，卷积核移动步长大小为1，卷积边界处补0处理；由Conv1_2，Conv2_2，Conv3_3，Conv4_3的卷积核提取到的特征图，仍记为Conv1_2，Conv2_2，Conv3_3，Conv4_3；Conv1_2，Conv2_2，Conv3_3卷积核之后都采用最大池化操作来实现降采样操作，每个最大池化操作降采样图像大小两倍；1.2：对Conv4_3采用步骤1.1介绍的最大池化进行两次下采样操作，每次下采样两倍，下采样后得到的特征图命名为fc7,conv6_2；1.3：选取conv4_3、fc7、conv6_2这三个层级的特征图进行预测；特征图conv4_3对原始图像下采样8倍，特征图fc7对原始图像下采样16倍，特征图conv6_2对原始图像下采样32倍；这三个不同层级的特征图分别代表了不同尺度的危险物体；步骤2、自下而上：根据特征图，在毫米波图像中初始化候选框，并挑选出正负样本；2.1：针对conv4_3，fc7，conv6_2这三个层级的特征图中的每一个特征点，分别在原始图像中初始化第i个候选框其中，cx表示候选框中心点的横坐标，cy表示候选框中心点的纵坐标，w表示候选框的宽，h表示候选框的高；候选框的初始化方法按照公式(7)-公式(9)进行：上述公式中，sk∈{conv4_3,fc7,conv6_2}，表示参与预测的层级特征图初始化候选框的比例因子，即针对毫米波图像的宽高比例；n表示参与预测的层级特征图的个数，取n＝3；smin表示全局最小比例；smax表示全局最大比例，rj代表不同宽高比的集合，W代表毫米波图像的宽度，H代表毫米波图像的高度；2.2：步骤2.1结束后，候选框已经可以覆盖原始图像，此时按照公式(1)，将每个由步骤2.1产生的候选框标定为正样本或负样本：其中，θ1和θ2分别为决策正负样本的阈值，IOU采用下述公式(2)计算，P表示候选框，G表示地面真实，Area(X)表示求解X包围盒的面积：步骤3、自顶而下：对步骤1得到的特征图conv6_2进行上采样，恢复人体上下文信息；3.1：步骤1将原始图像通过CNN下采样32倍，得到特征图conv6_2；将conv6_2通过显著性融合模块，得到特征图E6；在自下而上过程中，由conv4_3，fc7，conv6_2提取到前景特征；基于conv4_3，fc7，conv6_2所提取的前景特征，显著性融合模块从这些有效前景特征中选择一部分更加具有代表性的前景特征与人体上下文信息融合，对自下而上过程中的特征进行筛选；这里显著性融合模块采用S-E架构；3.2：利用步骤3.1得到的特征图E6来恢复人体上下文信息；通过反卷积操作上采样得到E6’；3.3：将步骤1.1得到的特征图fc7通过显著性融合模块，将本次显著性融合模块的输出特征图与...

【专利技术属性】
技术研发人员：张铂，王斌，吴晓峰，张立明，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31