基于视频序列的行人再识别方法、装置及计算机设备制造方法及图纸

本申请涉及一种基于视频序列的行人再识别方法、装置、计算机设备及存储介质，其中该方法包括：构建残差网络，通过数据集中的训练样本对所述残差网络进行训练得到特征提取网络；将数据集中的测试样本输入到所述特征提取网络中得到所述测试样本中行人目标序列的特征矩阵；通过所述行人目标序列的特征矩阵根据基于视频序列时间的动态时间规整算法计算查询序列和待匹配序列的距离，输出基于视频序列的行人再识别结果。本发明专利技术可以根据基于视频序列时间的动态时间规整算法可以直观的去解释多帧信息的有效性，同时可以很好地衡量两个视频序列的相似度。

Pedestrian recognition method, device and computer equipment based on video sequence

The application relates to a pedestrian recognition method, device, computer equipment and storage medium based on video sequence, wherein the method comprises: constructing a residual network, training the residual network through the training samples in the data set to obtain a feature extraction network; inputting the test samples in the data set into the feature extraction network to obtain the pedestrian items in the test samples According to the feature matrix of the pedestrian target sequence, the distance between the query sequence and the sequence to be matched is calculated according to the dynamic time warping algorithm based on the video sequence time, and the pedestrian recognition result based on the video sequence is output. According to the dynamic time warping algorithm based on video sequence time, the invention can intuitively explain the effectiveness of multi frame information, and can well measure the similarity of two video sequences.

【技术实现步骤摘要】
基于视频序列的行人再识别方法、装置及计算机设备
本专利技术涉及图像处理
，特别是涉及一种基于视频序列的行人再识别方法、装置、计算机设备及存储介质。
技术介绍
目前，在多摄像机视频监控领域中，常常需要将在某一视场中已经出现过的行人在其他视场中再次检测识别出来，这一过程称为行人再识别。在多摄像机智能视频监控系统中，行人再识别有很重要的意义。在行人再次被检测识别时，其所处的环境如监控场景、光照条件以及行人本身的位姿等都发生了变化，如何在行人场景等条件变化的情况下，快速、准确的将行人在其他视场中检测识别出来成为行人再识别的关键。在传统技术中，单帧的行人再识别研究如基于表征学习，度量学习和局部特征的行人再识别方法还是主流。因为相对来说数据集比较小，耗时较少。但是通常单帧图像的信息是有限的，如果遇到遮挡，目标本身的位姿及光照等条件影响，则会对再识别造成很大的误差。基于视频序列的方法最主要的不同点就是这类方法不仅考虑了图像的内容信息，还考虑了帧与帧之间的运动等时空信息。基于视频序列的方法主要思想是利用CNN来提取空间特征的同时利用递归循环网络(Recurrentneuralnetworks,RNN)来提取时序特征。图像序列中的每张图像都经过一个共享的CNN提取出图像空间内容特征，之后这些特征向量被输入到一个RNN网络去提取最终的特征。最终的特征融合了单帧图像的内容特征和帧与帧之间的运动特征。而这个特征用于代替前面单帧方法的图像特征来训练网络。目前，大部分基于视频序列行人再识别方法是把序列信息全部输给网络，让网络学习有用的信息，并没有直观的去解释为什么多帧信息的有效性，并且不能很好地衡量视频序列之间的相似度。
技术实现思路
基于此，有必要针对上述技术问题，提供一种可以根据基于视频序列时间的动态时间规整算法直观的去解释多帧信息的有效性，同时可以很好地衡量两个视频序列的相似度的基于视频序列的行人再识别方法、装置、计算机设备及存储介质。一种基于视频序列的行人再识别方法，所述方法包括：构建残差网络，通过数据集中的训练样本对所述残差网络进行训练得到特征提取网络；将数据集中的测试样本输入到所述特征提取网络中得到所述测试样本中行人目标序列的特征矩阵；通过所述行人目标序列的特征矩阵根据基于视频序列时间的动态时间规整算法计算查询序列和待匹配序列的距离，输出基于视频序列的行人再识别结果。在其中一个实施例中，在所述构建残差网络的步骤之前还包括：获取原始数据集进行数据准备，通过结构化稀疏表示后的行人目标序列。在其中一个实施例中，所述构建残差网络，通过数据集中的训练样本对所述残差网络进行训练得到特征提取网络的步骤还包括：构建基于视频序列的特征映射Resnet50网络模型；将不同目标不同序列测试数据以及同一目标不同序列测试数据分别输入到所述Resnet50网络模型中进行测试；根据测试的结果对模型中的参数进行调整直至测试结果符合要求，得到训练好的Resnet50网络模型。在其中一个实施例中，所述将数据集中的测试样本输入到所述特征提取网络中得到所述测试样本中行人目标序列的特征矩阵的步骤还包括：将包含至少一张图像的视频目标序列输入到所述特征提取网络中；对于每一个所述视频目标序列中的一张图像，通过所述特征提取网络生成一个对应的特征向量；将每一个所述视频目标序列映射为一个特征矩阵。在其中一个实施例中，所述通过所述行人目标序列的特征矩阵根据基于视频序列时间的动态时间规整算法计算查询序列和待匹配序列的距离的步骤还包括：分别计算出查询序列和待匹配序列的长度；将所述待匹配序列做变换，得到变换后的多个待匹配视频序列；依次计算所述查询序列与所述多个待匹配视频序列的DTW距离。在其中一个实施例中，所述依次计算所述查询序列与所述多个待匹配视频序列的DTW距离的步骤包括：计算所述查询序列和待匹配视频序列的距离矩阵；计算所述查询序列和待匹配视频序列的过渡距离矩阵；根据所述距离矩阵和过渡距离矩阵计算所述查询序列和待匹配视频序列的累计距离矩阵；根据所述累计距离矩阵计算所述查询序列和待匹配视频序列的DTW距离；通过重复执行上述计算步骤得到所述查询序列与所述多个待匹配视频序列的DTW距离。在其中一个实施例中，在所述依次计算所述查询序列与所述多个待匹配视频序列的DTW距离步骤之后还包括：将所述查询序列与所述多个待匹配视频序列的DTW距离的最小值作为所述查询序列和待匹配序列的最终距离；分别计算查询序列和所有待匹配序列的距离。一种基于视频序列的行人再识别装置，基于视频序列的行人再识别装置包括：模型训练模块，所述模型训练模块用于构建残差网络，通过数据集中的训练样本对所述残差网络进行训练得到特征提取网络；特征提取模块，所述特征提取模块用于将数据集中的测试样本输入到所述特征提取网络中得到所述测试样本中行人目标序列的特征矩阵；度量计算模块，所述度量计算模块用于通过所述行人目标序列的特征矩阵根据基于视频序列时间的动态时间规整算法计算查询序列和待匹配序列的距离，输出基于视频序列的行人再识别结果。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。上述基于视频序列的行人再识别方法、装置、计算机设备及存储介质，通过构建残差网络，通过数据集中的训练样本对所述残差网络进行训练得到特征提取网络；将数据集中的测试样本输入到所述特征提取网络中得到所述测试样本中行人目标序列的特征矩阵；通过所述行人目标序列的特征矩阵根据基于序列序列时间的动态时间规整算法计算查询序列和待匹配序列的距离，输出基于视频序列的行人再识别结果。本专利技术可以根据基于视频序列时间的动态时间规整算法可以直观的去解释多帧信息的有效性，同时可以很好地衡量两个视频序列的相似度。将行人目标序列的再识别问题转化为序列特征矩阵之间的一致性度量问题。实验结果表明，该算法在MARS数据集上表现出良好的性能。附图说明图1为一个实施例中基于视频序列的行人再识别方法的应用场景图；图2为一个实施例中基于视频序列的行人再识别方法的流程示意图；图3为另一个实施例中基于视频序列的行人再识别方法的流程示意图；图4为再一个实施例中基于视频序列的行人再识别方法的流程示意图；图5为又一个实施例中基于视频序列的行人再识别方法的流程示意图；图6为又一个实施例中基于视频序列的行人再识别方法的流程示意图；图7为又一个实施例中基于视频序列的行人再识别方法的流程示意图；图8为一个实施例中所用到的MARS数据集的示意图；图9为一个实施例中所构建的wideresnet50网本文档来自技高网...

【技术保护点】
1.一种基于视频序列的行人再识别方法，所述方法包括：/n构建残差网络，通过数据集中的训练样本对所述残差网络进行训练得到特征提取网络；/n将数据集中的测试样本输入到所述特征提取网络中得到所述测试样本中行人目标序列的特征矩阵；/n通过所述行人目标序列的特征矩阵根据基于视频序列时间的动态时间规整算法计算查询序列和待匹配序列的距离，输出基于视频序列的行人再识别结果。/n

【技术特征摘要】
1.一种基于视频序列的行人再识别方法，所述方法包括：
构建残差网络，通过数据集中的训练样本对所述残差网络进行训练得到特征提取网络；
将数据集中的测试样本输入到所述特征提取网络中得到所述测试样本中行人目标序列的特征矩阵；
通过所述行人目标序列的特征矩阵根据基于视频序列时间的动态时间规整算法计算查询序列和待匹配序列的距离，输出基于视频序列的行人再识别结果。


2.根据权利要求1所述的基于视频序列的行人再识别方法，其特征在于，在所述构建残差网络的步骤之前还包括：
获取原始数据集进行数据准备，通过结构化稀疏表示后的行人目标序列。


3.根据权利要求1所述的基于视频序列的行人再识别方法，其特征在于，所述构建残差网络，通过数据集中的训练样本对所述残差网络进行训练得到特征提取网络的步骤还包括：
构建基于视频序列的特征映射Resnet50网络模型；
将不同目标不同序列测试数据以及同一目标不同序列测试数据分别输入到所述Resnet50网络模型中进行测试；
根据测试的结果对模型中的参数进行调整直至测试结果符合要求，得到训练好的Resnet50网络模型。


4.根据权利要求1所述的基于视频序列的行人再识别方法，其特征在于，所述将数据集中的测试样本输入到所述特征提取网络中得到所述测试样本中行人目标序列的特征矩阵的步骤还包括：
将包含至少一张图像的视频目标序列输入到所述特征提取网络中；
对于每一个所述视频目标序列中的一张图像，通过所述特征提取网络生成一个对应的特征向量；
将每一个所述视频目标序列映射为一个特征矩阵。


5.根据权利要求1所述的基于视频序列的行人再识别方法，其特征在于，所述通过所述行人目标序列的特征矩阵根据基于视频序列时间的动态时间规整算法计算查询序列和待匹配序列的距离的步骤还包括：
分别计算出查询序列和待匹配序列的长度；
将所述待匹配序列做变换，得到变换后的多个待匹配视频序列；
依次计算所述查...

【专利技术属性】
技术研发人员：裴继红，于亚威，谢维信，杨烜，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44