基于匹配卷积神经网络的行人再识别方法技术

本发明专利技术提出了一种基于匹配卷积神经网络的行人再识别方法，主要解决现有技术在复杂环境、行人姿态多变情况下识别准确率低的问题。其实现是：1.构建匹配卷积神经网络；2.收集行人图片，获取训练样本集；3.用得到的训练样本集对匹配卷积神经网络进行训练；4.当用户输入待查询行人图片时，利用训练好的匹配卷积神经网络计算其与从已知数据库中取出两张图片之间的相似度；5.重复4的操作，直到数据库中的所有图片都取完；6.根据计算得到的相似度按照由大到小的顺序对已知数据库进行排序，将排序后的结果返回给用户。本发明专利技术能在复杂环境、行人姿态多变的情况下提高行人再识别的准确率，可用于智能监控系统、人物实时追踪、交通监管领域。

Pedestrian re identification method based on matching convolutional neural network

The invention provides a pedestrian re identification method based on a matched convolution neural network, which mainly solves the problem that the prior art has low identification accuracy in complicated environment and pedestrian posture variation. Its implementation is: 1., construct the convolutional neural network; 2. pedestrians collect pictures, get the training samples; 3. with the training set of matching convolutional neural network training; 4. when the user input to query the pedestrian image, matching the convolutional neural network to calculate the similarity between two images and removed from the known database good use of training; 5. 4 repeated operation, until all the pictures in the database are selected; 6. according to the similarity calculated according to the sequence from big to small of the known database sort will sort the results back to users. The invention can improve the accuracy rate of pedestrian re identification in the complex environment and the changeable pedestrian posture, and can be used in the intelligent monitoring system, the real-time tracking of the characters and the traffic supervision field.

【技术实现步骤摘要】
基于匹配卷积神经网络的行人再识别方法
本专利技术属于图像处理
，特别涉及一种行人再识别的方法，可用于智能视频监控系统、人物实时追踪、交通监管等领域。
技术介绍
计算机视觉中的行人再识别是指将多个不同监控摄像头中出现的行人一一对应起来，在摄像头拍摄的视频帧或图像中查找到某个特定的人。行人再识别技术能够将监控人员从屏幕监视这种繁重低效的重复劳动中解放出来，提高视频监控的效率，推动视频监控的智能化进程。行人再识别在多个领域都有较好的应用前景，但是由于监控视频的清晰度差，视频拍摄角度变化多样，拍摄环境更是繁杂多变，行人行走姿态变化万千等多方面的因素导致行人再识别在目前并没有通用的、准确率较高的解决方案。目前，行人再识别大多都是先对行人图片提取特征，然后利用这些特征来判断两个行人图片是否属于同一身份，或者是利用学习的方法在特征间学习出一个映射，特征的提取一般有两种方法：利用人工构造的特征和利用卷积神经网络学习的特征。其中：利用人工构造的特征来进行行人再识别，主要是提取行人的外貌特征，特别是对衣着服饰等进行分析，然后对提取的特征进行编码，利用编码作为判别依据，这些方法对环境、光照，及图像的拍摄质量要求高，不适用于一般场景。利用卷积神经网络的行人再识别方法，首先使用卷积神经网络学习出特征，然后在特征空间度量其相似性。但是，由于目前的卷积神经网络方法并不能很好的克服图片拍摄环境变化大、角度差异大、行人姿态多变等问题，传统的基于卷积神经网络的方法也没有取得很好的效果。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足，提出了一种基于匹配卷积神经网络的行人再识别方法，对传统的卷积神经网络进行扩展，利用特征增强、匹配滤波器手段以减小环境、光照、角度等对稳定性的影响，有效提高了行人再识别的准确率。为实现上述目的，本专利技术的技术方案包括如下：(1)构建匹配卷积神经网络：(1a)建立一个由输入层、第一层、第二层、第三层、第四层、第五层和输出层构成的网络结构，其中输入层有三个图像Xα，Xp和Xn，输出层是三个向量Vα，Vp和Vn；(1b)在第一层利用相同的卷积核分别对输入的图像Xα，Xp，Xn进行卷积，并对卷积后的结果再经过最大池化操作，得到第一层的三个特征图分别为(1c)用第一层的三个特征图构造出第一层的两个混合特征图，其中，符号表示是特征图对应位置的相加运算，是第一层的第一个混合特征图，是第一层的第二个混合特征图；(1d)在第二层分别对第一层的三个特征图使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的三个特征图分别为分别对第一层得到的两个混合特征图和使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的两个卷积特征图分别为和然后按下式构造出第二层的混合特征图和(1e)在第三层分别对第二层得到的三个特征图使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到第三层的三个特征图分别为分别对第二层得到的两个混合特征图和使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第三层的两个卷积特征图分别为和构造出第三层的混合特征图和其中，符号表示特征图对应位置的相减运算；(1f)在第四层对第三层得到的第一个特征图进行卷积操作后得到第四层的第一个特征图对第三层的两个混合特征图和再经过相同的卷积操作运算后得到第四层的第二个和第三个混合特征图和(1g)在第五层中将第四层的三个特征图分别与输出层的三个500维的向量Va，Vp，Vn进行全连接；其中，和Vn进行全连接的权重与和Vp进行全连接的权重相同；(1h)网络的输出层是三个特征向量Va，Vp和Vn，这三个特征向量分别与输入层的三个图像Xa，Xp，Xn一一对应；(2)从视频监控网络系统中收集大量拍摄于不同场景、环境、光照、角度下的行人图片，对这些行人图片进行整理，并将这些行人图片组合成三元组数据Ti,1≤i≤N，N是训练样本的数量，再用这些三元组数据构成训练样本集：D＝(T1，T2，…，Ti，…，TN)；(3)将训练样本集D输入到匹配卷积神经网络中进行训练，得到训练好的网络模型；(4)用户输入待查询的行人图片，将其作为参考样本，从已知数据库中取出两张行人图片，分别与用户输入的待查询行人图片组成三元组，并将三元组输入到训练好的匹配卷积神经网络中，计算出待查询行人图片与从已知数据库中取出的两张行人图片之间的相似度；(5)重复步骤(4)的操作，每次从已知数据库中取出两张行人图片计算它们与待查询行人图片之间的相似度，直到数据库中的所有图片都取完；(6)根据计算得到的相似度按照由大到小的顺序对已知数据库中的所有图片进行排序，最后将排序后的结果返回给用户，排在最前面的行人图片就是和用户输入的查询行人图片最相似的。本专利技术与现有的技术相比具有以下优点：1、本专利技术在网络进行训练时，输入的训练数据使用的是三元组的形式，相比于传统的二元组的形式能够将网络的学习重点聚集到难以区分的样本上，增大了正负样本的对比差异，提高识别的准确性，同时也省去了训练数据中需要人工标注的标签信息。2、本专利技术提出了匹配卷积神经网络的结构，由于该结构在提取图像特征时使用特征增强的手段得到混合特征，然后利用匹配滤波器对混合特征进行滤波，能够有效地增强匹配对的相似特征，弱化非匹配对的差异特征，在特征空间拉大了匹配对与非匹配对之间的间隔，对于各种环境复杂、拍摄角度多变、行人姿态多样的情况，进一步提高了行人再识别的准确率。附图说明图1是本专利技术的实现流程图；图2是本专利技术中构建的匹配卷积神经网络结构图；图3是本专利技术中三元组形式的训练样本图；图4是本专利技术的仿真结果图。具体实施方式以下结合附图对本专利技术实施例和效果进行详细描述。参照图1，本专利技术的实施步骤如下：步骤一，构建匹配卷积神经网络。卷积神经网络是神经网络的一种，通过在神经网络中增加卷积操作和池化操作，使得卷积神经网络具有平移不变性、缩放不变性和旋转不变性等特性，能够很好的解决图像的平移、缩放以及倾斜等形式的变形问题。卷积神经网络通过层层相连的结构，逐层提取图像的特征，进而得到整个图像所表达的主要内容。但是直接使用卷积神经网络来进行行人再识别是不合适的，因为行人再识别的目的不是卷积神经网络所擅长的对图像进行内容识别，而是需要找到两个行人图片之间的相似度，考虑到这种情况，本专利技术构建了一种全新的匹配卷积神经网络，其具体构建方法如下：(1a)建立一个由输入层、第一层、第二层、第三层、第四层、第五层和输出层构成的网络结构，其中输入层有三个图像Xα，Xp和Xn，输出层是三个向量Vα，Vp和Vn；(1b)在第一层利用相同的卷积核分别对输入的图像Xα，Xp，Xn进行卷积，并对卷积后的结果再经过最大池化操作，得到第一层的三个特征图分别为(1c)用第一层的三个特征图构造出第一层的两个混合特征图，其中，符号表示是特征图对应位置的相加运算，是第一层的第一个混合特征图，是第一层的第二个混合特征图；(1d)在第二层分别对第一层的三个特征图使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的三个特征图分别为分别对第一层得到的两个混合特征图和使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过本文档来自技高网...

【技术保护点】
一种基于匹配卷积神经网络的行人再识别方法，包括：(1)构建匹配卷积神经网络：(1a)建立一个由输入层、第一层、第二层、第三层、第四层、第五层和输出层构成的网络结构，其中输入层有三个图像X

【技术特征摘要】
2015.12.15 CN 20151093913821.一种基于匹配卷积神经网络的行人再识别方法，包括：(1)构建匹配卷积神经网络：(1a)建立一个由输入层、第一层、第二层、第三层、第四层、第五层和输出层构成的网络结构，其中输入层有三个图像Xα，Xp和Xn，输出层是三个向量Vα，Vp和Vn；(1b)在第一层利用相同的卷积核分别对输入的图像Xα，Xp，Xn进行卷积，并对卷积后的结果再经过最大池化操作，得到第一层的三个特征图分别为(1c)用第一层的三个特征图构造出第一层的两个混合特征图，其中，符号表示是特征图对应位置的相加运算，是第一层的第一个混合特征图，是第一层的第二个混合特征图；(1d)在第二层分别对第一层的三个特征图使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的三个特征图分别为分别对第一层得到的两个混合特征图和使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第二层的两个卷积特征图分别为和然后按下式构造出第二层的混合特征图和(1e)在第三层分别对第二层得到的三个特征图使用相同的卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到第三层的三个特征图分别为分别对第二层得到的两个混合特征图和使用相同的匹配卷积核进行卷积操作，并对卷积后的结果再经过最大池化操作，得到的第三层的两个卷积特征图分别为和构造出第三层的混合特征图和其中，符号表示特征图对应位置的相减运算；(1f)在第四层对第三层得到的第一个特征图进行卷积操作后得到第四层的第一个特征图对第三层的两个混合特征图和再经过相同的卷积操作运算后得到第四层的第二个和第三个混合特征图和(1g)在第五层中将第四层的三个特征图分别与输出层的三个500维的向量Va，Vp，Vn进行全连接；其中，和Vn进行全连接的权重与和Vp进行全连接的权重相同；(1h)网络的输出层是三个特征向量Va，Vp和Vn，这三个特征向量分别与输入层的三个图像Xa，Xp，Xn一一对应；(2)从视频监控网络系统中收集大量拍摄于不同场景、环境、光照、角度下的行人图片，对这些行人图片进行整理，并将这些行人图片组合成三元组数据Ti,1≤i≤N，N是训练样本的数量，再用这些三元组数据构成训练样本集：D＝(T1，T2，…，Ti，…，TN)；(3)将训练样本集D输入到匹配卷积神经网络中进行训练，得到...

【专利技术属性】
技术研发人员：韩红，徐志敏，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61