行人再识别方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种行人再识别方法、装置及电子设备，其中的方法包括：将图像帧序列中各图像帧的图像特征输入已训练的注意力模型，以由所述注意力模型输出各图像帧中人体部件特征信息和标签信息；根据所述注意力模型输出的人体部件标签信息，确定人体部件特征信息的有效性以及所属的部件类别；将属于同一部件类别且有效的人体部件特征信息进行融合得到目标特征信息；根据所述目标特征信息识别行人。由此，本发明专利技术能够将非人体部件的特征信息如背景特征信息筛除，从而可以适用于复杂的监控场景，且本发明专利技术所提供的方法算法较为简单，能够提高行人再识别的效率和减轻系统的运算负担。

Pedestrian recognition methods, devices and electronic equipment

【技术实现步骤摘要】
行人再识别方法、装置及电子设备
本专利技术涉及图像处理
，特别涉及基于多帧信息融合的视频行人再识别方法、装置及电子设备。
技术介绍
行人再识别也称行人重识别，是利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术。而视频行人再识别是指在监控视频中识别出某个特定的已经在监控网络中出现过的行人，即对监控网络中的同一个行人进行再次识别。相关技术中，视频行人再识别方法一般采用固定部件划分策略，来定位人体的三个部件(人体肩部以上的部分、人体肩部到腰部之间的上半身部分、人体腰部以下的下半身部分)，也即，无论对于何种情形的图像序列，现有视频行人再识别都将每帧图像划分为上、中、下这三个区域，以实现对人体肩部以上部分、上半身部分和下半身部分的定位。从上述描述可知，现有视频行人再识别方法有效的前提条件是：人体需要占满整个图像区域、且人体所有部件都必须存在于图像中。然而，在复杂的监控场景下，并不能保证所有采集到的图像都能满足所述前提条件。当人体未占满整个图像区域或人体某个部件不存在于图像中时，现有视频行人再识别方法会将部分图像背景定位为人体部件，导致人体部件定位错误。故存在识别准确性低、且无法适用于复杂的监控场景下的问题。
技术实现思路
有鉴于此，本专利技术提供一种行人再识别方法、装置及电子设备。本专利技术的第一方面提供一种行人再识别方法，所述方法包括：将图像帧序列中各图像帧的图像特征输入已训练的注意力模型，以由所述注意力模型输出各图像帧中人体部件特征信息和标签信息；>根据所述注意力模型输出的人体部件标签信息，确定人体部件特征信息的有效性以及所属的部件类别；将属于同一部件类别且有效的人体部件特征信息进行融合得到目标特征信息；根据所述目标特征信息识别行人。本专利技术的第二方面提供一种行人再识别装置，所述装置包括特征输入模块、注意力模型、处理模块、融合模块和识别模块；所述注意力模块包括已训练的注意力模型；所述输入模块用于将图像帧序列中各图像帧的图像特征输入所述注意力模块；所述注意力模块用于根据各图像帧的图像特征输出各图像帧中人体部件特征信息和标签信息；所述处理模块用于根据所述注意力模块输出的人体部件标签信息，确定人体部件特征信息的有效性以及所属的部件类别；所述融合模块用于将属于同一部件类别且有效的人体部件特征信息进行融合得到目标特征信息；所述识别模块用于根据所述目标特征信息识别行人。本专利技术的第三方面提供一种电子设备，所述电子设备包括：处理器；存储器，用于存储可由所述处理器执行的计算机程序；其中，所述处理器执行所述程序时实现所述行人再识别方法。相比于现有技术，本专利技术至少具有以下有益效果：本专利技术通过利用注意力模型定位得到各图像帧中人体部件的特征信息和标签信息，并基于标签信息确定定位得到的人体部件特征信息的有效性和人体部件特征信息所属的部件类别，以实现将属于同一部件类别且有效的人体部件特征信息进行融合，从而有效避免对非人体部件的特征信息的融合，有利于提高对人体部件定位的准确性和行人再识别的准确性。由此，本专利技术能够将非人体部件的特征信息如背景特征信息筛除，从而可以适用于复杂的监控场景，且本专利技术所提供的方法算法较为简单，能够提高行人再识别的效率和减轻系统的运算负担。附图说明图1a为现有技术行人再识别方法在人体占满整个图像时，进行部件区域划分后的示意图；图1b为现有技术行人再识别方法在人体部分部件不存在于图像中时，进行部件区域划分后的示意图；图1c为现有技术行人再识别方法在人体未占满整个图像时，进行部件区域划分后的示意图；图2是本专利技术根据一示例性实施例示出的一种行人再识别方法的流程示意图；图3是本专利技术根据一示例性实施例示出的一种行人再识别方法的步骤S2所包含的步骤的流程图；图4是本专利技术所提供的行人再识别方法在对人体未占满整个图像时，进行人体部件区域划分后的示意图；图5是本专利技术根据一示例性实施例示出的一种网络架构模型的训练过程的流程图；图6是本专利技术根据一示例性实施例示出的一种网络架构模型的训练过程的流程图；图7是本专利技术根据一示例性实施例示出的一种行人再识别装置的结构框图；图8是本专利技术根据一示例性实施例示出的行人再识别装置所在电子设备的一种硬件结构图。具体实施方式这里将详细对示例性实施例进行说明，其示例表示在附图中，下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。并且，以下示例性实施例中所描述的实施方式并不限制本专利技术，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本专利技术的保护范围内。在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本专利技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应该限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释为“在……时”或“当……时”或“响应于确定”。为了使本专利技术更清楚简洁，以下对本专利技术所提及的一些技术术语进行解释：卷积神经网络(ConvolutionalNeuralNetwork，CNN)，是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现；其中，通过权值共享和特征汇聚，以较少的参数量有效提取图像的结构信息。通常包括卷积层(convolutionallayer)和池化层(poolinglayer)。行人再识别(Personre-identification，PersonRe-ID)，也称为行人重识别，是一种利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术，如用于在多个摄像头拍摄的行人图像或视频序列中匹配相同行人，是一个图像检索的子问题，在室外安全监控等领域中有着广泛的应用。注意力模型(AttentionModel，AM)，是一种对齐模型，能够实现目标与关键特征的对齐，在本专利技术中，体现在人体部件的特征信息的标签值与对应特征的对齐。空间变换网络(SpatialTransformerNetwork,STN)，是一种卷积神经网络架构模型，通过变换输入的图片，降低受到数据在空间上多样性的影响，来提高卷积网络模型的分类准确性，而不是通过改变网络结构；可用于粗略定位图像中的特定目标。多层神经网络(Multi-LayerPerceptron，MLP)，即多层感知器，是一种前向结构的人工神经网络，映射本文档来自技高网...

【技术保护点】
1.一种行人再识别方法，其特征在于，包括：/n将图像帧序列中各图像帧的图像特征输入已训练的注意力模型，以由所述注意力模型输出各图像帧中人体部件特征信息和标签信息；/n根据所述注意力模型输出的人体部件标签信息，确定人体部件特征信息的有效性以及所属的部件类别；/n将属于同一部件类别且有效的人体部件特征信息进行融合得到目标特征信息；/n根据所述目标特征信息识别行人。/n

【技术特征摘要】
1.一种行人再识别方法，其特征在于，包括：
将图像帧序列中各图像帧的图像特征输入已训练的注意力模型，以由所述注意力模型输出各图像帧中人体部件特征信息和标签信息；
根据所述注意力模型输出的人体部件标签信息，确定人体部件特征信息的有效性以及所属的部件类别；
将属于同一部件类别且有效的人体部件特征信息进行融合得到目标特征信息；
根据所述目标特征信息识别行人。


2.根据权利要求1所述的方法，其特征在于，所述注意力模型包括两个以上的注意力子模型，不同注意力子模型对应不同人体部件；各注意力子模型用于确定其对应的人体部件的人体部件特征信息和标签信息；
所述注意力模型输出各图像帧中人体部件特征信息和标签信息，包括：
各注意力子模型根据输入的各图像帧的图像特征，确定其对应的人体部件在各图像帧的位置信息，并根据所述位置信息确定并输出其对应的人体部件特征信息和标签信息。


3.根据权利要求1所述的方法，其特征在于，所述根据注意力模型输出的人体部件标签信息，确定人体部件特征信息的有效性以及所属的部件类别，包括：
将人体部件标签信息与预设的基准标签信息进行匹配；所述基准标签信息包括无效标签信息和至少两个基准部件标签信息，不同基准部件标签信息对应不同部件类别；
若所述人体部件标签信息与无效标签信息匹配，则确定所述人体部件特征信息无效，并确定所述人体部件特征信息所属的部件类别为无效部件类别；
若所述人体部件标签信息与任一基准部件标签信息匹配，则确定所述人体部件特征信息有效，并确定所述人体部件特征信息所属的部件类别为匹配的基准部件标签信息对应的部件类别。


4.根据权利要求1所述的方法，其特征在于，将属于同一部件类别且有效的人体部件特征信息进行融合得到目标特征信息，包括：
通过加权融合算法计算属于同一部件类别且有效的各人体部件特征信息的融合权重值；
根据属于同一部件类别且有效的各人体部件特征信息的融合权重值，对属于同一部件类别且有效的各人体部件特征信息进行融合得到目标特征信息。


5.根据权利要求1所述的方法，其特征在于，根据所述目标特征信息识别行人，包括：
将不同部件类别的目标特征信息进行拼接得到行人特征；
计算所述行人特征和已获取的目标行人特征之间的特征相似度；
根据所述特征相似度得到识别结果。


6.根据权利要求2所述的方法，其特征在于，所述注意力子模型通过基于图像样本序列训练得到，训练过程包括：
通过卷积神经网络对图像样本序列进行特征信息提取，得到样本特征序列；
向待训练的各注意力子模型输入所述样本特征序列，得到所述样本特征序列的各图像帧中对应人体部件的预测特征信息和预测标签信息；
根据各注意力子模...

【专利技术属性】
技术研发人员：卢晶，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33