一种基于生成式对抗网络的安检违禁品X光图像生成方法技术

一种基于生成式对抗网络的安检违禁品X光图像生成方法。其包括根据原始安检违禁品X光图像中安检违禁品的姿态差异对原始安检违禁品X光图像进行分类；构建生成式对抗网络并调整网络参数；将已分类的原始安检违禁品X光图像输入上述生成式对抗网络中，分类别生成新安检违禁品X光图像；构建CNN图像分类模型；基于CNN图像分类模型对生成的新安检违禁品X光图像进行分类验证等步骤。本发明专利技术提供的基于生成式对抗网络的安检违禁品X光图像生成方法能够在少量图像样本的基础上，生成大量视觉效果逼真的、具有多种姿态的新图像，可以有效扩充安检违禁品X光图像数据集。

A Method of X-ray Image Generation for Security Inspection Prohibited Goods Based on Generative Countermeasure Network

A method of X-ray image generation of security contraband based on generative confrontation network is presented. It includes classifying the X-ray image of the original security contraband according to the attitude difference of the original security contraband X-ray image; constructing the generative confrontation network and adjusting the network parameters; inputting the classified original security contraband X-ray image into the above generative confrontation network, classifying and generating the new security contraband X-ray image; constructing the CNN image classification model; Image classification model is used to classify and verify the X-ray images of new security contraband. The method of generating X-ray image of security contraband based on generative countermeasure network provided by the invention can generate a large number of new images with vivid visual effect and multiple postures on the basis of a small number of image samples, and can effectively expand the X-ray image data set of security contraband.

【技术实现步骤摘要】
一种基于生成式对抗网络的安检违禁品X光图像生成方法
本专利技术属于数据增强
，特别是涉及一种基于生成式对抗网络的安检违禁品X光图像生成方法。
技术介绍
行李安检对于民航安全有着至关重要的作用，然而，随着选择民航出行的旅客人数逐年上涨，行李安检员面临着越来越大的工作压力，这既降低了行李安检的效率和准确性，同时也不利于安检员的身心健康。近年来，随着卷积神经网络等深度学习算法的快速发展，使用计算机辅助安检员进行行李违禁品识别不再遥不可及。使用深度学习方法进行图像识别首先需要有足够大的训练数据集，然而在实际中难以获取到大量的行李物品X光图像。此外，物品被随机放置在行李包裹中，在X光下呈现出的姿态也是多种多样的。与人脑不同的是，计算机算法在学习图像特征时，对物品姿态的变化十分敏感，所以行李安检员培训用的安检物品X光图像库并不能满足训练神经网络的需求。如何获取到大量的具有多种姿态的物品X光图像一直是一个难点问题。传统的解决方法是通过平移旋转尺度变换等操作来丰富图像，但这种方法所能获取到的额外信息量有限。使用预先训练好的网络模型虽然也能在一定程度上提升算法性能，但是并不是所有的网络模型都有预先训练好的模型可供使用。2014年提出的生成式对抗网络(GAN)被广泛用于生成新的数据，并且在图像生成方面取得重大突破。例如，PGGAN可以生成逼真的高分辨率人脸图像，SNGAN能够有效生成多类别的图像。相较于传统方法，使用生成式对抗网络生成新的安检违禁品X光图像可以更加有效地扩充数据集，从而有助于进一步提升违禁品检测算法的性能。但目前并没有完善的基于生成式对抗网络的图像数据集扩充方法。
技术实现思路
为了解决上述问题，本专利技术的目的在于提出一种基于生成式对抗网络的安检违禁品X光图像生成方法。为了达到上述目的，本专利技术提供的基于生成式对抗网络的安检违禁品X光图像生成方法包括按顺序进行的下列步骤：1)根据原始安检违禁品X光图像中安检违禁品的姿态差异对原始安检违禁品X光图像进行分类；2)构建生成式对抗网络并调整网络参数；3)将步骤1)中已分类的原始安检违禁品X光图像输入上述生成式对抗网络中，分类别生成新安检违禁品X光图像；4)构建用于评价生成的新安检违禁品X光图像是否可用的CNN图像分类模型；5)基于上述构建的CNN图像分类模型对生成的新安检违禁品X光图像进行分类验证。在步骤1)中，所述的根据原始安检违禁品X光图像中安检违禁品的姿态差异对原始安检违禁品X光图像进行分类的方法是：首先以原始安检违禁品X光图像中的安检违禁品几何中心为原点构建一个空间直角坐标系，则安检违禁品姿态的差异可以转换为其绕三个坐标轴旋转角度的差异；然后根据原始安检违禁品X光图像中违禁品绕三个坐标轴旋转角度的差异进行分类，将原始安检违禁品X光图像分为8个姿态类别。在步骤2)中，所述的构建生成式对抗网络并调整网络参数的方法是：首先构建一个由判别器和生成器组成的生成式对抗网络，并选取合适的损失函数，然后设置不同的网络参数进行实验，根据实验结果选取最优的参数设置。在步骤3)中，所述的将步骤1)中已分类的原始安检违禁品X光图像输入上述生成式对抗网络中，分类别生成新安检违禁品X光图像的方法是：首先根据每一类原始安检违禁品X光图像的数量设置一个合适的训练样本数量n，然后使用步骤2)构建的生成式对抗网络生成新的安检违禁品X光图像，所生成的这张图像由n张新安检违禁品X光图像拼接而成，最后将其拆分成n张单独的新安检违禁品X光图像。在步骤4)中，所述的构建用于评价生成的新安检违禁品X光图像是否可用的CNN图像分类模型的方法是：首先构建一个由3个卷积层、3个池化层和3个全连接层组成的CNN图像分类模型，并在最后加入softmax层，然后使用原始安检违禁品X光图像训练该模型，直至得到较高的分类准确率时结束训练。在步骤5)中，所述的基于上述构建的CNN图像分类模型对生成的新安检违禁品X光图像进行分类验证的方法是：首先将新安检违禁品X光图像依次输入步骤4)构建的CNN图像分类模型中进行分类验证，得到一个输出结果；如果该结果对应正确的安检违禁品类别，且该结果数值大于0.5，则认为这张新安检违禁品X光图像具有较好的质量，可以用于扩充安检违禁品X光图像数据集；若不同时满足上述两个条件，则删除这张新安检违禁品X光图像。本专利技术提供的基于生成式对抗网络的安检违禁品X光图像生成方法能够在少量图像样本的基础上，生成大量视觉效果逼真的、具有多种姿态的新图像，可以有效扩充安检违禁品X光图像数据集。附图说明图1为本专利技术提供的基于生成式对抗网络的安检违禁品X光图像生成方法流程图。图2为构建以安检违禁品几何中心为原点的空间直角坐标系。图3为安检违禁品姿态详细分类示意图。图4为GAN框架。图5为GAN中判别器网络结构。图6为GAN中生成器网络结构。图7为CNN图像分类模型框架。图8为生成的不同姿态的手枪图像。图9为生成的不同类别的违禁品图像。具体实施方式下面结合附图和具体实施例对本专利技术提供的基于生成式对抗网络的安检违禁品X光图像生成方法进行详细说明。如图1所示，本专利技术提供的基于生成式对抗网络的安检违禁品X光图像生成方法包括按顺序进行的下列步骤：1)根据原始安检违禁品X光图像中安检违禁品的姿态差异对原始安检违禁品X光图像进行分类；由于原始安检违禁品X光图像数量有限，且该图像中的目标姿态差异很大，例如一把手枪从不同角度去看，它的外观形状也是不同的。如果直接将所有原始安检违禁品X光图像放入网络中进行训练，网络将难以学习到这些图像的共同特征，生成的新安检违禁品X光图像往往具有难以辨认的目标形状，因此这种新安检违禁品X光图像并不能用来扩充安检违禁品X光图像数据集。要进一步提高网络的学习效果，可以根据原始安检违禁品X光图像中目标姿态的差异先对该图像进行分类，在此基础上依次放入网络中进行训练。此方法可以通过减小训练图像的内容差异来降低网络学习的难度。如图2所示，由于手枪在不同视角下对应的姿态差异很大，本专利技术以原始手枪X光图像为例进行说明。具体分类方法如下：首先，将手枪的几何中心作为原点构建一个空间直角坐标系，枪口所指方向为x轴正方向，握把方向为y轴正方向，垂直于手枪向上方向为z轴正方向。将当前手枪在空间直角坐标系中的位置设定为标准位置，当手枪绕三个坐标轴进行旋转时，其在原始手枪X光图像中的姿态随即发生改变。因此，原始手枪X光图像中手枪姿态的差异可以看作是手枪在空间直角坐标系中绕三个坐标轴旋转的角度差异。手枪在原始手枪X光图像中的方向差异可以由手枪在空间直角坐标系中绕z轴旋转角度的不同来表示。同理，手枪在原始手枪X光图像中的倾斜角差异可以由手枪在空间直角坐标系中绕x轴和y轴旋转角度的不同来表示。原始手枪X光图像中手枪的任意姿态都可以按照上述旋转方法组合得到。然后，根据手枪枪口方向的差异对其进行分类，主要分为向左和向右两类，对应于空间直角坐标系中的标准位置和镜像位置，如图3(a)所示。之后，根据手枪绕z轴旋转的角度差异分为4类：0°±45°，90°±45°，180°±45°和-90°±45°，如图3(b)所示。X光图像中安检违禁品由于方向不同所导致的外形差异是最主要的差异。最后，根据手枪绕x轴和y轴旋转的角度差异可分别进一步细分为本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的安检违禁品X光图像生成方法，其特征在于：所述的方法包括按顺序进行的下列步骤：1)根据原始安检违禁品X光图像中安检违禁品的姿态差异对原始安检违禁品X光图像进行分类；2)构建生成式对抗网络并调整网络参数；3)将步骤1)中已分类的原始安检违禁品X光图像输入上述生成式对抗网络中，分类别生成新安检违禁品X光图像；4)构建用于评价生成的新安检违禁品X光图像是否可用的CNN图像分类模型；5)基于上述构建的CNN图像分类模型对生成的新安检违禁品X光图像进行分类验证。

【技术特征摘要】
1.一种基于生成式对抗网络的安检违禁品X光图像生成方法，其特征在于：所述的方法包括按顺序进行的下列步骤：1)根据原始安检违禁品X光图像中安检违禁品的姿态差异对原始安检违禁品X光图像进行分类；2)构建生成式对抗网络并调整网络参数；3)将步骤1)中已分类的原始安检违禁品X光图像输入上述生成式对抗网络中，分类别生成新安检违禁品X光图像；4)构建用于评价生成的新安检违禁品X光图像是否可用的CNN图像分类模型；5)基于上述构建的CNN图像分类模型对生成的新安检违禁品X光图像进行分类验证。2.根据权利要求1所述的基于生成式对抗网络的安检违禁品X光图像生成方法，其特征在于：在步骤1)中，所述的根据原始安检违禁品X光图像中安检违禁品的姿态差异对原始安检违禁品X光图像进行分类的方法是：首先以原始安检违禁品X光图像中的安检违禁品几何中心为原点构建一个空间直角坐标系，则安检违禁品姿态的差异可以转换为其绕三个坐标轴旋转角度的差异；然后根据原始安检违禁品X光图像中违禁品绕三个坐标轴旋转角度的差异进行分类，将原始安检违禁品X光图像分为8个姿态类别。3.根据权利要求1所述的基于生成式对抗网络的安检违禁品X光图像生成方法，其特征在于：在步骤2)中，所述的构建生成式对抗网络并调整网络参数的方法是：首先构建一个由判别器和生成器组成的生成式对抗网络，并选取合适的损失函数，然后设置不同的网络参数进行实验，根据实验结果选取最优的参数设置。4.根据权利要求1所述的基于生成式对抗网...

【专利技术属性】
技术研发人员：杨金锋，赵子豪，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津,12