一种基于多视角图像特征分解的行人再识别方法技术

本发明专利技术涉及智能图像检索技术领域，更具体而言，涉及一种基于多视角图像特征分解的行人再识别方法，从目标图像分类问题出发，结合胶囊网络，构建了行人图像多视角图像特征生成网络，将任意行人图像进行分解得到多视角图像特征以及该视角下的相似度。同视角特征直接用于再识别，不同视角特征则必须经过特征转换，本发明专利技术中使用BP神经网络获的了特征转换矩阵，解决了不同视视角特征的度量问题。实验表明通过行人图像的分解对提高行人再识别准确率有极大的帮助。

【技术实现步骤摘要】
一种基于多视角图像特征分解的行人再识别方法
本专利技术涉及智能图像检索
，更具体而言，涉及一种基于多视角图像特征分解的行人再识别方法。
技术介绍
随着社会公共安全越来越受到重视，大量的监控摄像头被安装到许多重要场所，监控摄像头拍摄的监控视频可为公安部门提供侦破诸如恐怖袭击、聚众斗殴等重大刑事案件的线索。行人再识别是一种自动的目标识别技术，在监控网络中快速定位到感兴趣的人体目标，是智能视频监控和人体行为分析等应用中的重要步骤。使用行人再识别技术主要目的就是要解决安全监控领域中行人的检索问题。行人重识别通常是从特征提取和距离度量学习两个方面进行研究。基于特征提取的行人重识别研究，特征提取是进行图像识别的核心问题。提取到合适的、稳健的特征，对于检测结果和执行效率都有很大的提高。常使用的特征主要有：HOG特征，SIFT特征，SURF特征，Covariance描述子，ELF特征，Haar-likeRepresention特征，LBP特征，Gabor滤波器，Co-occurrenceMatrics共生阵等。基于距离度量学习的行人重识别研究。由于摄像机的视角、尺度、光照、服饰与姿态变化、分辨率不同以及存在遮挡，不同摄像头之间可能会失去连续的位置和运动信息，使用欧氏距离、巴氏距离等标准的距离度量来度量行人表观特征的相似度不能获得很好的重识别效果，因此，研究者们提出通过度量学习的方法，来衡量不同图像下的行人的相似度。常见的距离度量学习算法如：LMNN算法，PRDC算法，LDML算法KISSME算法，LFDA算法，XQDA算法。2014年，将行人重识别的研究与深度学习结合在一起，目前基于图像的行人再识别主要使用基于深度卷积神经网络方法。McLaughlin等采用基于AlexNet卷积神经网络(CNN)结构的方法，进行迁移学习，对图像提取颜色和光流特征，采用卷积神经网络处理得到高层表征，然后用循环神经网络(RNN)捕捉时间信息，然后池化得到序列特征。T.Xiao等对来自各个领域的数据训练出同一个卷积神经网络(CNN)，有些神经元学习各个领域共享的表征，其它的神经元对特定的某个区域有效，得到鲁棒的CNN特征表示。在基于图像的行人重识别研究中，VIPeR作为最广泛的采用的数据集，rank-1的准确率从2008年的12.0％提高了2015年的63.9％；同时，数据集CUHK01上的rank-1提高到2017年的79.9％；在Market-1501上，深度学习的应用明显提高了rank-1的准确率，从2015年该数据集刚开始应用到行人重识别的研究中时，rank-1的准确率从44.42％提高到了2017年的82.21％。从上面描述的研究成果可以看出，基于图像的行人重识别的研究取得了重大进步，但是有进一步提升的空间，主要存在准确率不高的问题。注：rank-1表示判定结果中概率最高的解即是正确解。
技术实现思路
本专利技术的目的在于提供一种基于多视角图像特征分解的行人再识别方法，通过改进的胶囊神经网络实现对任意行人图像的多视角图像特征分解(正面、侧面、背面)，生成任意行人图像在多视角下的图像特征描述信息和相应的概率信息，生成的行人特征描述信息和特征的概率信息用于行人图像相似度度量，该方法可用于大规模视频或者图像集中检索特定行人目标。为达到上述目的，本专利技术提供的技术方案为：一种基于多视角图像特征分解的行人再识别方法，包括以下步骤：S1、在行人图像数据集中，选取标准图像，将选好的标准图像分成训练数据集和测试数据集，建立多视角图像特征分解神经网络的训练数据集和测试数据集；S2、将数据集中行人图像经过缩放或裁剪成分辨率为192×64的RGB图像，作为训练集和测试集；S3、将胶囊分类网络CapsuleNet设计为两层卷积层，两层胶囊层，得到改进后的胶囊网络；S4、对S3中改进的胶囊分类网络在S2中标准视角行人图像训练集上进行训练，构造多视角图像特征分解神经网络，生成任意行人图像在三种标准视角下的相似度和图像特征向量；S5、生成跨视角特征转换矩阵，用于不同视角下的行人图像特征转换，计算跨视角特征转换系数矩阵，用于减少跨视角行人图像特征度量损失；S6、选择行人图像相似度度量函数，实现行人再识别，实现同视角特征比较和跨视角特征比较，用于行人再识别中的行人图像相似度度量。进一步地，所述S1中标准图像为拍摄角度为标准的正面图像、侧面图像和背面图像。进一步地，所述S3中改进后的胶囊网络为三分类网络。进一步地，所述S3中改进后的胶囊网络CapsuleNet的第一层设置为卷积层，参数：卷积核5×5、输出通道数32、输入维度为B×3×192×64，B为超参数批处理数量；第二层设置为卷积层，参数：卷积核5×5、输出通道数256；第三层为初级胶囊层，参数：卷积核5×5，输出通道数8；第四层为编码胶囊层，参数：输出通道数3，路由参数2，输出维度为B×3×64，B为超参数批处理数量。进一步地，所述卷积层可以被单层神经网络、ResNet、HourglassNet等其他卷积网络替代。进一步地，所述S4中相似度计算公式为：式中，e为自然常数(e≈2.71828)，V表示特征向量模的长度，i表示第i个行人图像，Vij表示第i个行人某种(j)视角下的特征向量模的长度，Sij表示第i个行人在视角j下的相似度。进一步地，所述S5中生成跨视角特征转换矩阵具体包括以下步骤：(1)建立数据集，数据集中包含同一行人不同视角的特征对{Vi,Ui}，特征Vi和Ui具有相同的维度D，其中Vi，Ui表示某视角下的行人特征编码；(2)建立并训练特征转换网络，特征转换网络是两层的BP神经网络，网络输入层数据为Vi，输入层维度1×D，网络输出层数据为Ui’，输出层维度1×D，损失函数为：Loss(x)＝1-cos(Ui’,Ui)，其中Ui’表示网络转换特征，Ui表示目标特征；(3)特征转换网络经过训练后，损失函数降低到0.07以下，从特征转换网络提取转换矩阵W，Ui’＝W*Vi，W是D×D的矩阵；(4)重复步骤(2)和步骤(3)，将所有的不视角的图像特征转换矩阵都计算一次，得到所有跨视角特征转换矩阵。进一步地，所述S5中计算跨视角特征转换系数为其中t为平均损失函数值；不同视角的转换系数组成转换系数矩阵矩阵为：其中A12表示行人正面特征到侧面特征的转换系数，A13表示行人正面特征到背面特征的转换系数，A21表示行人侧面特征到正面特征转换系数，A23表示行人侧面特征到背面特征的转换系数，A31表示行人背面特征到正面特征转换系数，A32表示行人背面特征到侧面特征的转换系数。进一步地，所述S6中实现行人再识别具体包括以下步骤：(1)选择cos函数进行行人特征距离度量，行人特征距离度量如下：f(X，Y)＝Alpha×cos(X,Y)，其中Alpha为转换系数；(2)同视角行人特征比较，行人特征距离为：L＝f(Xi,Yj)，其中Xj、Yj为任意行人图像概率最大的多视角图像特征分解特征；(3)跨视角行人特征比较，行人特征距离为：L＝f(W×Xi,Yj)，其中Xj、Yj为任意行人图像概率最大的多视角图像特征分解特征，W为转换矩阵；(4)对被检索行人图像距离度量结果进行降序排序，排序结果中前面的行人图片即为行人图像再识本文档来自技高网...

【技术保护点】
1.一种基于多视角图像特征分解的行人再识别方法，其特征在于，包括以下步骤：S1、在行人图像数据集中，选取标准图像，将选好的标准图像分成训练数据集和测试数据集，建立多视角图像特征分解神经网络的训练数据集和测试数据集；S2、将数据集中行人图像经过缩放或裁剪成分辨率为192×64的RGB图像，作为训练集和测试集；S3、将胶囊分类网络CapsuleNet设计为两层卷积层，两层胶囊层，得到改进后的胶囊网络；S4、对S3中改进的胶囊分类网络在S2中标准视角行人图像训练集上进行训练，构造多视角图像特征分解神经网络，生成任意行人图像在三种标准视角下的相似度和图像特征向量；S5、生成跨视角特征转换矩阵，计算跨视角特征转换系数矩阵；S6、选择行人图像相似度度量函数，实现行人再识别。

【技术特征摘要】
1.一种基于多视角图像特征分解的行人再识别方法，其特征在于，包括以下步骤：S1、在行人图像数据集中，选取标准图像，将选好的标准图像分成训练数据集和测试数据集，建立多视角图像特征分解神经网络的训练数据集和测试数据集；S2、将数据集中行人图像经过缩放或裁剪成分辨率为192×64的RGB图像，作为训练集和测试集；S3、将胶囊分类网络CapsuleNet设计为两层卷积层，两层胶囊层，得到改进后的胶囊网络；S4、对S3中改进的胶囊分类网络在S2中标准视角行人图像训练集上进行训练，构造多视角图像特征分解神经网络，生成任意行人图像在三种标准视角下的相似度和图像特征向量；S5、生成跨视角特征转换矩阵，计算跨视角特征转换系数矩阵；S6、选择行人图像相似度度量函数，实现行人再识别。2.根据权利要求1所述的一种基于多视角图像特征分解的行人再识别方法，其特征在于：所述S1中标准图像为拍摄角度为标准的正面图像、侧面图像和背面图像。3.根据权利要求1所述的一种基于多视角图像特征分解的行人再识别方法，其特征在于：所述S3中改进后的胶囊网络为三分类网络。4.根据权利要求1所述的一种基于多视角图像特征分解的行人再识别方法，其特征在于：所述S3中改进后的胶囊网络CapsuleNet的第一层设置为卷积层，参数：卷积核5×5、输出通道数32、输入维度为B×3×192×64，B为超参数批处理数量；第二层设置为卷积层，参数：卷积核5×5、输出通道数256；第三层为初级胶囊层，参数：卷积核5×5，输出通道数8；第四层为编码胶囊层，参数：输出通道数3，路由参数2，输出维度为B×3×64，B为超参数批处理数量。5.根据权利要求1或4所述的一种基于多视角图像特征分解的行人再识别方法，其特征在于：所述卷积层可以被单层神经网络、ResNet、HourglassNet等其他卷积网络替代。6.根据权利要求1所述的一种基于多视角图像特征分解的行人再识别方法，其特征在于，所述S4中相似度计算公式为：式中，e为自然常数(e≈2.71828)，V表示特征向量模的长度，i表示第i个行人图像，Vij表示第i个行人某种(j)视角下的特征向量模的长度，Sij表示第i个行人在视...

【专利技术属性】
技术研发人员：李海芳，杨晓峰，邓红霞，姚蓉，郭浩，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：山西,14