一种融合型神经网络的人员再检测方法技术

本发明专利技术提供一种融合型神经网络的人员再检测方法，首先针对数据集小，训练样本不足问题，提出利用改进型的生成式对抗网络(GAN)扩大数据集；然后利用颜色模型HSV和尺度不变局部三元模式结合神经网络特征融合的方案有效地解决提取特征的问题；再者，在分类模型中，利用交叉熵损失来进行计算相似度量。此外，神经网络选用了收敛速度快，提取效果好的残差网络，并在最后的卷积层前加入了Dropout层，旨在防止过拟合。实验结果表明，在样本较少时，通过该特征融合方案有效的提取特征，具有一定的应用价值。

A personnel re detection method based on fusion neural network

【技术实现步骤摘要】
一种融合型神经网络的人员再检测方法
本专利技术涉及人员再检测
，尤其涉及一种融合型神经网络的人员再检测方法。
技术介绍
随着对跨境跟踪技术的关注不断增加，人员再检测技术也是一大研究热点。在实践中，由于许多外界因素的影响，更是加大了人员再检测技术的挑战。近年来，公共安全越来越受重视，马路上随处可见摄像监控。在安全和执法相关应用中，迫切需要在监控摄像机中识别行人的能力。传统方法中，识别行人的操作是由相关操作人员执行的，通常有边缘，梯度等手动设计特征，称为手动筛选；但是，在现在互联网的世界中，数据规模愈来愈大，手动筛选的方法已经不能满足人们的需要，因此，期望在不同摄像机中自动而又准确的匹配到行人，通常称为人员再检测，或称为行人再识别。在早期的研究中，由于图像处理，模式识别等相关技术的不成熟，人员再检测技术的发展也止步不前；近些年，高清摄像头的出现，图像处理技术的发展，使得人员再检测技术得到快速前进。然而，在发展前进的道路中，人员再检测技术面临着极大的挑战。不同的摄像装置存在着拍摄差异；同时行人在运动中也存在多样性的变化，其外观容易受到衣着、体型、姿势、实物的遮挡、光照背景等影响。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供了一种融合型神经网络的人员再检测方法，首先针对数据集小，训练样本不足问题，提出利用改进型的生成式对抗网络(GAN)扩大数据集；然后利用颜色模型HSV和尺度不变局部三元模式结合神经网络特征融合的方案有效地解决提取特征的问题；再者，在分类模型中，利用交叉熵损失来进行计算相似度量。此外，神经网络选用了收敛速度快，提取效果好的残差网络，并在最后的卷积层前加入了Dropout层，旨在防止过拟合。实验结果表明，在样本较少时，通过该特征融合方案有效的提取特征，具有一定的应用价值。本专利技术提供一种融合型神经网络的人员再检测方法，所述方法分为三个部分组成，第一部分涉及生成式对抗网络，利用生成式对抗网络GAN扩大数据集；第二部分为卷积神经网络，利用卷积，池化，激活函数基本操作来处理利用GAN网络产生的生成图像，结合额外的手动特征来提取输入图像，然后外接一个融合层，将卷积神神经网络和手动提取的特征进行融合，得到一个表征更完备的图像描述特征；第三部分为将最小化交叉熵应用于分类模型中，对人员再检测进行精度排序。生成式对抗网络(GAN)属于无监督式学习网络，迅速应用于各类计算机视觉领域，在深度学习乃至机器学习中取得巨大成功。GAN包含生成式模型G和判别式模型D。生成器G学习如何从一个输入图像生成一张图像，而判别器D学习判断生成的图像是真实的图片还是由生成器G生成的“假的图像”，两个模型在互相博弈中取得学习，也称对抗式学习，使得生成图像逐渐逼近原始图像。为了进一步提升GAN的稳定性能和生成图片的质量性能，可以从两个方面考虑：一是如何寻找更好的模型来训练GAN网络；二是如何改进GAN中的损失函数。由此得到改进网络DeepConvolutionalGenerativeAdversarialNetworks(DCGAN)和LeastSquaresGenerativeAdversarialNetworks(LSGAN)，本专利技术使用DCGAN。进一步改进在于：所述GAN中的G和D为两个卷积神经网络，利用生成器G中用反卷积进行上采样，判别器D中用加入stride的卷积代替pooling，并且生成器G中使用Relu层，判别器D中使用LeakyRelu。第一大特色模块为相比于GAN在细节方面做了一下改进，把经典GAN中的G和D换成了两个卷积神经网络(CNN)。但是，并不是直接替换，利用生成器G中用反卷积进行上采样，判别器D中用加入stride的卷积代替pooling，并且生成器G中使用Relu层，判别器D中使用LeakyRelu。首先从一个100维的随机向量开始,然后用一个线性函数将它放大到4×4×1024。为了扩大这个张量,使用了4个步幅为2的微步幅卷积函数,它的内核大小为5×5。每一个微步幅卷积函数之后都有一个修正的线性单元和批处理单元。此外,还有一个可选步幅为1的反卷积层,它的内核大小为5×5,并加入了一个Tanh激活函数来微调结果。最后可以生成一个大小为64×64×3的样本。后可接双线性采样方法将生成的图像调整大小为256×256×3。这些图片是DCGAN在人脸数据集以及风景数据集上训练之后的生成图片，可以看到利用DCGAN再迭代次数高的情况下可以生成质量非常高的图片集，可达到扩充数据集的效果。DCGAN的训练框架来对原始数据集的图像进行训练,训练前调整所有图像大小为128×48,并将其随机翻转，以便获得更随性的数据。训练迭代次数设置为50次,生成26000张256×256大小的图像。将特征提取模块分为两部分：传统手动提取特征和卷积神经网络提取特征。采用传统的颜色描述符HSV和尺度不变局部三元模式(SILTP)来提取输入图像集。SILTP是众所周知的局部二元模式(LBP)的改进算子，LBP在单调灰度变换下具有良好的不变性，但它对图像噪声不稳健。SILTP通过引入尺度不变的局部比较容差来改善LBP，实现强度尺度变化的不变性和图像噪声的鲁棒性。进一步改进在于：第一部分前对图像进行预处理，对图像进行等效分割处理，将图像水平方向分为六个条带，并对每一水平条带构建图像金字塔，计算单个直方图，旨在拥有更完善的多尺度信息。得到的直方图实现了视点变化的一些不变性，同时捕获了人的局部区域特征。具体操作如下：对原始128×48图像进行下采用，由两个2×2的滑动子窗口进行局部平均合并操作来描述人物图像的局部细节，子窗口步长为5像素，并重复上述过程，根据计算局部最大出现次数，最终得到两个SILTP直方图和8×8×bin的联合HSV直方图，每个直方图箱表示子窗口中一个模式的发生概率。为了解决视点变化，检查相同水平位置的所有子窗口，并最大化这些子窗口中每个模式的局部出现(即相同的直方图框)。得到的直方图实现了视点变化的一些不变性，同时捕获了人的局部区域特征。将得到的两者单一直方图，采用l1-norm进行标准化处理，将两者连成一个整体得到融合特征，称为联合描述子FFD(FusionFeatureDescription)大小为960尺寸。然而，也可能丢失条带内的空间信息，从而缺少必要的特征表示，影响分辨效果。进一步改进在于：生成图片采用残差网络ResNet来提取特征。大部分的身体部位可以在图像中找到，但存在一些严重的扭曲和错位，因此，网络中的最后一个全连接层采用更高级别的卷积层，卷积层由预定义大小的过滤器堆叠组成，这些过滤器与层的输入卷积。卷积层使用的参数共享比密集矩阵乘法更有效(需要更少的计算和存储器存储)。参数共享还可以使卷积层与线性平移等效(即，输入中的任何移位将导致输出中的类似移位)。另外，池化层也多采用相应的非线性表达，这有助于特征提取的归一化。DCGAN生成图像数据集运用神经网络ResNet18来进行特征提取，没有选取更深的网络，是防止梯度爆炸，以及层数增多所带来的训练要求高，时间长等缺点。此本文档来自技高网...

【技术保护点】
1.一种融合型神经网络的人员再检测方法，其特征在于：所述方法分为三个部分组成，第一部分涉及生成式对抗网络，利用生成式对抗网络GAN扩大数据集；第二部分为卷积神经网络，利用卷积，池化，激活函数基本操作来处理利用GAN网络产生的生成图像，结合额外的手动特征来提取输入图像，然后外接一个融合层，将卷积神神经网络和手动提取的特征进行融合，得到一个表征更完备的图像描述特征；第三部分为将最小化交叉熵应用于分类模型中，对人员再检测进行精度排序。/n

【技术特征摘要】
1.一种融合型神经网络的人员再检测方法，其特征在于：所述方法分为三个部分组成，第一部分涉及生成式对抗网络，利用生成式对抗网络GAN扩大数据集；第二部分为卷积神经网络，利用卷积，池化，激活函数基本操作来处理利用GAN网络产生的生成图像，结合额外的手动特征来提取输入图像，然后外接一个融合层，将卷积神神经网络和手动提取的特征进行融合，得到一个表征更完备的图像描述特征；第三部分为将最小化交叉熵应用于分类模型中，对人员再检测进行精度排序。


2.如权利要求1所述的一种融合型神经网络的人员再检测方法，其特征在于：所述GAN中的G和D为两个卷积神经网络，利用生成器G中用反卷积进行上采样，判别器D中用加入stride的卷积代替pooling，并且生成器G中使用Relu层，判别器D中使用LeakyRelu。


3.如权利要求1所述的一种融合型神经网络的人员再检测方法，其特征在于：第...

【专利技术属性】
技术研发人员：杨会成，潘玥，储慧敏，
申请(专利权)人：安徽工程大学，
类型：发明
国别省市：安徽;34