一种基于神经网络进行多特征融合的行人检索方法技术

本发明专利技术涉及一种视频分析技术，具体涉及一种基于神经网络进行多特征融合的行人检索方法。它是将视频中检测到的行人计算特征，存入待测行人集的特征数据库，然后对于待查询行人计算特征，并与特征数据库比较，得到排在前面的为相似度高的检索结果。本发明专利技术通过计算多种检索特征和特征距离，利用最优距离权值W进行整合，使得检索结果和待查询行人的上下半身都比较相似，并通过使用1个特征距离进行排序来提高检索的便捷性；具有适应面广、准确率高、应用简便的特点。能有效解决目前基于监控视频的行人检测中的准确率和检索相似度都较低，各种检测方法和特征距离不能很好的结合，适应面不广，应用较复杂的问题。

A pedestrian retrieval method based on neural network for multi feature fusion

The invention relates to a video analysis technique, in particular to a pedestrian retrieval method based on a neural network for multiple feature fusion. It is a pedestrian detection in video to calculate the characteristic, in the feature database to be tested for pedestrian sets, then query pedestrian computational features, and compared with the characteristics of database, get in front of the row for high similarity search results. The present invention by calculating a variety of search features and distance integration using the optimal distance weight of W, which makes the search results and to query the pedestrian upper and lower body are relatively similar, and by using the 1 feature distance sorting to improve the convenience of retrieval; with wide adaptability, high accuracy and simple characteristics. Can effectively solve the accuracy of pedestrian detection in video surveillance and retrieval based on similarity is low, combined with a variety of detection methods and characteristics of distance is not very good, the application is not wide, complex problems.

【技术实现步骤摘要】
一种基于神经网络进行多特征融合的行人检索方法
本专利技术涉及一种视频分析技术，具体涉及一种基于神经网络进行多特征融合的行人检索方法。
技术介绍
目前图像检索和行人检索的方法较多，如图像检索方法CEDD(CEDD:ColorandEdgeDirectivityDescriptor.ACompactDescriptorforImageIndexingandRetrieval,SavvasA.2008)，行人检索方法WHOS(PersonRe-IdentificationbyIterativeRe-WeightedSparseRanking,GiuseppeLisanti,2015)，这些方法对于一些科研数据集，如行人检索数据集ViPeRDataset(https://vision.soe.ucsc.edu/node/178)，能够取得较好的检索效果，但是对于实际监控视频中的行人，检索不理想，需要整合形成新的检索特征。从检索结果的角度，有些方法，如WHOS，虽然检索结果中包含待查询行人，即检索成功，但是检索结果的其他行人和待查询行人的相似度不高，不能给使用者提供更多的参考信息，如待查询行人为上身蓝色衣服下身黑色裤子，检索结果中排在前面的表示相似度较大的一些行人，有很多不是“上身蓝下身黑”；而另外一些可按身体部位检索的方法，如：AGeneralMethodforAppearance-basedPeopleSearchBasedonTextualQueries,R.Satta，2012，检索结果和待查询行人的相似度较大，但是检索过程和特征距离比较复杂，需要显式的使用多个特征距离和检索过滤环节，不能用1个特征距离来表示相似度。目前，特征距离有多种计算方法，如：Bhattachayya法(简称Bh距离，https://en.wikipedia.org/wiki/Bhattacharyya_distance),和Tanimoto法(FuzzyAlgorithms:WithApplicationstoimageprocessingandpatternrecognition,1996)等，不同的距离适用于不同的特征和场景，现在希望把这些特征整合起来应用于监控视频的情况。考虑到卷积神经网络(CNN)的飞速发展及其在许多领域（如图像识别）取得的优异的效果(mageNetClassificationwithDeepConvolutionalNeuralNetworks,2012；OverFeat:IntegratedRecognition,LocalizationandDetectionusingConvolutionalNetworks,2014)，如何利用CNN模型，把各种检测方法和特征距离很好的结合起来，达到适应面广、准确率高、应用简便的比较理想的效果，成为人们研究的一个方向。
技术实现思路
本专利技术的目的在于，针对上述现有技术的不足，提供一种通过计算多种检索特征和特征距离，利用最优距离权值W进行整合，使得检索结果和待查询行人的上下半身都比较相似，并通过使用1个特征距离进行排序来提高检索的便捷性；具有适应面广、准确率高、应用简便，能有效解决目前基于监控视频的行人检测中的准确率和检索相似度都较低问题的基于神经网络进行多特征融合的行人检索方法。本专利技术是通过如下的技术方案来实现上述目的的：该基于神经网络进行多特征融合的行人检索方法的基本思路为：初始步骤为行人检测，结果为检测方框（见图1）。检索的基本过程参见图2，将视频中检测到的行人计算特征，存入待测行人集的特征数据库，然后对于待查询行人计算特征，并与特征数据库比较，得到检索结果，排在前面的为相似度高的，如rank1的相似度最高，图2中rank1和待查询行人属于同一个行人。行人前景掩码对于行人检索非常重要，可参见图3，本方法得到的行人前景掩码的高和宽为与行人方框对应的RGB图像块相同，前景掩码只有3种取值：背景0，上半身1和下半身2。本方法包含2个重要环节：行人前景掩码和特征距离的计算，分别对应2个CNN模型，其中，“前景掩码CNN”可参见图4，用于计算区分上下半身的行人前景掩码，而计算最优距离权值W的“寻优CNN”可参见图7，此权值用于整合多种特征距离，计算2个行人之间的相似程度。其具体步骤如下：一种基于神经网络进行多特征融合的行人检索方法，其特征在于它包括以下步骤：（1）提取CNN前景掩码：对于输入的视频和已经检测到的行人，采用GMM（GaussianMixtureModel)计算行人方框内的GMM前景掩码，将方框包含的RGB图像块中与GMM前景掩码中的背景对应的部分的颜色改为灰色，这样可以消除背景区域的干扰；再利用视频中的运动信息计算行人方框中的每一像素点的光流矢量，然后将行人方框中的GMM前景掩码、光流矢量的幅度、光流矢量的方向和修改后的RGB图像块组合成为“行人掩码组合特征”，输入到“前景掩码CNN”中，得到区分上下半身的CNN前景掩码，即掩码取值只有：背景0、上半身1和下半身2；（2）计算检索特征向量：对于每个行人的RGB图像块和对应的区分上下半身的CNN前景掩码，分别计算全身、上半身和下半身前景掩码对应区域的HS、RGB、改进CEDD和改进WHOS特征，共计12种检索特征向量，并将待测行人集的检索特征向量保存于特征数据库中；其中，改进CEDD特征只计算前景掩码对应区域的像素点，而改进WHOS也只计算前景掩码对应区域的像素点，同时不计算HOG特征；（3）计算特征距离:对于2个行人的检索特征向量，采用Bhattachayya法和Tanimoto法分别计算对应的相同类型的子特征向量的距离，这样对于12种子特征共得到24种距离，组成1个24维的距离向量D；然后采用由“寻优CNN”求得的权值向量W将这1个距离向量转换为1个距离值，转换公式为d=W'D，其中：W为24维权值列向量，D为24维距离列向量，计算结果d为1个1x1维数值；为了得到与待查询行人的上下半身特征都相似的检索结果，本专利技术的方法使用1个特征距离并且不需要过滤处理；（4）排序和输出检索结果：对于待查询行人，利用(1)和(2)所述方法计算特征向量，然后采用(3)所述方法计算与特征数据库中的每一个待测行人之间的距离，最后将这些距离值进行排序得到检索结果，距离小表示相似程度高，距离大表示相似程度低。步骤（1）中所述的计算行人的CNN前景掩码的具体步骤为：第一步训练“前景掩码CNN”，先准备训练样本，将监控视频中检测到的行人作为样本，缩放至PxQ维标准尺寸，再手工标注行人的期望前景掩码，对于上下半身分别标注不同的掩码值，即将背景、上半身和下半身分别标注为0、1、2，作为训练样本的输出值；然后计算样本的掩码组合特征，先采用GMM计算行人检测方框内的GMM前景掩码，并将行人方框RGB图像块中与GMM前景掩码的背景对应的区域设置为灰色，然后计算行人检测方框中每个像素点的光流矢量，这样对于每个行人可以得到6个PxQ维矩阵：GMM前景掩码、光流矢量的大小、光流矢量的方向、修改后的R、G、B，组成样本的特征数据，作为训练样本的输入；最后用上述训练样本来训练“前景掩码CNN”；此CNN采用6层，分别为：输入层、卷积层，max-po本文档来自技高网...

【技术保护点】
一种基于神经网络进行多特征融合的行人检索方法，其特征在于它包括以下步骤 ：（1）提取CNN前景掩码：对于输入的视频和已经检测到的行人，采用GMM（Gaussian Mixture Model)计算行人方框内的GMM前景掩码，将方框包含的RGB图像块中与GMM前景掩码中的背景对应的部分的颜色改为灰色，这样可以消除背景区域的干扰；再利用视频中的运动信息计算行人方框中的每一像素点的光流矢量，然后将行人方框中的GMM前景掩码、光流矢量的幅度、光流矢量的方向和修改后的RGB图像块组合成为“行人掩码组合特征”，输入到“前景掩码CNN”中，得到区分上下半身的CNN前景掩码，即掩码取值只有：背景0、上半身1和下半身2；（2）计算检索特征向量：对于每个行人的RGB图像块和对应的区分上下半身的CNN前景掩码，分别计算全身、上半身和下半身前景掩码对应区域的HS、RGB、改进CEDD和改进WHOS特征，共计12种检索特征向量，并将待测行人集的检索特征向量保存于特征数据库中；其中，改进CEDD特征只计算前景掩码对应区域的像素点，而改进WHOS也只计算前景掩码对应区域的像素点，同时不计算HOG特征；（3）计算特征距离:对于2个行人的检索特征向量，采用Bhattachayya法和Tanimoto法分别计算对应的相同类型的子特征向量的距离，这样对于12种子特征共得到24种距离，组成1个24维的距离向量D；然后采用由“寻优CNN”求得的权值向量W将这1个距离向量转换为1个距离值，转换公式为d=W'D，其中：W为24维权值列向量，D为24维距离列向量，计算结果d为1个1x1维数值；为了得到与待查询行人的上下半身特征都相似的检索结果，本专利技术的方法使用1个特征距离并且不需要过滤处理；（4）排序和输出检索结果：对于待查询行人，利用(1)和(2)所述方法计算特征向量，然后采用(3)所述方法计算与特征数据库中的每一个待测行人之间的距离，最后将这些距离值进行排序得到检索结果，距离小表示相似程度高，距离大表示相似程度低。...

【技术特征摘要】
1.一种基于神经网络进行多特征融合的行人检索方法，其特征在于它包括以下步骤：（1）提取CNN前景掩码：对于输入的视频和已经检测到的行人，采用GMM（GaussianMixtureModel)计算行人方框内的GMM前景掩码，将方框包含的RGB图像块中与GMM前景掩码中的背景对应的部分的颜色改为灰色，这样可以消除背景区域的干扰；再利用视频中的运动信息计算行人方框中的每一像素点的光流矢量，然后将行人方框中的GMM前景掩码、光流矢量的幅度、光流矢量的方向和修改后的RGB图像块组合成为“行人掩码组合特征”，输入到“前景掩码CNN”中，得到区分上下半身的CNN前景掩码，即掩码取值只有：背景0、上半身1和下半身2；（2）计算检索特征向量：对于每个行人的RGB图像块和对应的区分上下半身的CNN前景掩码，分别计算全身、上半身和下半身前景掩码对应区域的HS、RGB、改进CEDD和改进WHOS特征，共计12种检索特征向量，并将待测行人集的检索特征向量保存于特征数据库中；其中，改进CEDD特征只计算前景掩码对应区域的像素点，而改进WHOS也只计算前景掩码对应区域的像素点，同时不计算HOG特征；（3）计算特征距离:对于2个行人的检索特征向量，采用Bhattachayya法和Tanimoto法分别计算对应的相同类型的子特征向量的距离，这样对于12种子特征共得到24种距离，组成1个24维的距离向量D；然后采用由“寻优CNN”求得的权值向量W将这1个距离向量转换为1个距离值，转换公式为d=W'D，其中：W为24维权值列向量，D为24维距离列向量，计算结果d为1个1x1维数值；为了得到与待查询行人的上下半身特征都相似的检索结果，本发明的方法使用1个特征距离并且不需要过滤处理；（4）排序和输出检索结果：对于待查询行人，利用(1)和(2)所述方法计算特征向量，然后采用(3)所述方法计算与特征数据库中的每一个待测行人之间的距离，最后将这些距离值进行排序得到检索结果，距离小表示相似程度高，距离大表示相似程度低。2.根据权利要求1所述的一种基于神经网络进行多特征融合的行人检索方法，其特征在于：步骤（1）中所述的计算行人的CNN前景掩码的具体步骤为：第一步训练“前景掩码CNN”，先准备训练样本，将监控视频中检测到的行人作为样本，缩放至P...

【专利技术属性】
技术研发人员：吴耀文，周学平，廖宜良，张修，吴颖波，张勇，
申请(专利权)人：国网湖北省电力公司荆州供电公司，湖北科能电力电子有限公司，
类型：发明
国别省市：湖北,42