行人属性识别网络训练方法、系统、介质及终端技术方案

本发明专利技术提供一种行人属性识别网络训练方法、系统、介质及终端。所述方法包括以下步骤：获取对应人体关键点的部位特征图；输出与属性标签对应的词向量；将部位特征图与词向量融合，以形成融合结果；学习与属性标签对应的特征向量；生成对应属性标签的隐藏状态；预测属性标签存在的置信度；本发明专利技术提高了分类的准确性和可信度；通过提取人体关键点特征结合图神经网络来进行行人属性识别，降低了网络计算复杂度，减少了网络计算的消耗，提高了计算速度，使行人属性识别网络拥有良好的性能，可应对复杂多样的情景，诸如行人重识别、视频监控、刑事侦查、人脸识别、身份验证等等，具有重要的应用价值。

Training method, system, medium and terminal of pedestrian attribute recognition network

【技术实现步骤摘要】
行人属性识别网络训练方法、系统、介质及终端
本专利技术属于行人属性识别
，特别是涉及一种行人属性识别网络训练方法、系统、介质及终端。
技术介绍
行人属性识别是计算机视觉领域的一个重要领域，在视频监控中具有重要作用；行人属性是一种可搜索的拟人化的语义描述，可作为视频监控技术中的行人外观特征，应用于行人再识别，人脸识别，身份验证等等场景；行人属性识别目标在于挖掘给定图像中目标人物的属性。行人属性识别问题可定义为，给定人像A，从预定义的属性列表a＝{a1，a2，a3……an}中找出一组属性来描述这个人的各种特点；这个问题有多种处理方法，多标签分类，二值分类等等；行人属性识别的挑战在于属性类别的外观多样性和模糊性，主要因素有相机角度，光线，人体移动造成的图像模糊，人体遮挡，低分辨率，数据分布不均衡等等。传统的行人属性识别方法侧重于从手工特征、分类器或属性关系来开发鲁棒性强的特征表示，典型的例子有HOG(HistogramofOrientedGridients，特征检测算法)、SIFT(ScaleInvariantFeatureTransform，尺度不变特征变换)、SVM(SupportVectorMachine，支持向量机)或CRF(ConditionalRandomFieldalgorithm，条件随机场算法)模型，但这些传统算法远远不够满足实际应用的需求。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种行人属性识别网络训练方法、系统、介质及终端，通过提取人体关键点特征结合图神经网络来进行行人属性识别，用于解决现有技术中由于属性类别的多样性和外观模糊性，以及相机角度、光线、人体移动造成的图像模糊、人体遮挡、低分辨率、数据分布不均衡等等因素的影响，导致的行人属性识别面临复杂、多样挑战的问题。为实现上述目的及其他相关目的，本专利技术一方面提供一种行人属性识别网络训练方法，所述行人属性识别网络训练方法包括以下步骤：获取对应人体关键点的部位特征图；所述人体关键点对应人体身体关节；将属性标签输入预先训练的词向量获取模型中，输出与所述属性标签对应的词向量；所述属性标签是指行人自然带有的标签；将所述部位特征图与所述词向量融合，以形成融合结果；利用所述融合结果提取部位特征的注意力，并将所述部位特征的注意力与所述融合结果结合，学习与所述属性标签对应的特征向量；将所述特征向量引入图神经网络，生成对应所述属性标签的隐藏状态；所述隐藏状态包括所述属性标签的自身属性信息；根据所述隐藏状态和所述特征向量，预测所述属性标签存在的置信度。于本专利技术的一实施例中，获取对应人体关键点的部位特征图包括以下步骤：采集行人图像，并将采集的所述行人图像分为训练集和测试集；将作为训练集的行人图像输入关键点提取模型中，以提取出人体关键点信息，并基于所述人体关键点信息，生成关键点特征图；根据所述人体关键点对应的自然语义，生成对应所述人体关键点的候选框；所述自然语义为所述人体关键点对应所述身体关节的名称；对所述候选框进行池化操作，以获取具有固定尺寸的所述部位特征图。于本专利技术的一实施例中，对所述候选框进行池化操作，以获取具有固定尺寸的所述部位特征图包括以下步骤：将所述候选框输入全卷积网络，以提取出所述候选框的宽度、高度和信道数；根据作为训练集的所述行人图像，将所述候选框映射到其在所述关键点特征图上的对应位置；将映射后的区域划分为相同大小的子块；对所述子块进行池化操作，以获取具有固定尺寸的所述部位特征图。于本专利技术的一实施例中，利用所述融合结果提取部位特征的注意力，并将所述部位特征的注意力与所述融合结果结合，学习与所述属性标签对应的特征向量包括以下步骤：将所述融合结果输入注意力函数，以获取所述部位特征对于所述属性标签的重要性；所述重要性体现为所述注意力函数的输出值；通过逻辑回归函数对所述输出值进行归一化处理；将所述部位特征的注意力与所述融合结果结合，对经所述归一化处理后的结果进行加权平均池化，以学习所述特征向量。于本专利技术的一实施例中，将所述特征向量引入图神经网络，生成对应所述属性标签的隐藏状态包括以下步骤：构建属性关系图；所述属性关系图用于表征属性标签相互之间同时存在的概率；将所述属性关系图输入所述图神经网络，并将所述属性标签的初始隐藏状态初始化为所述特征向量，以获取对应所述属性标签的聚合信息；根据所述聚合信息和所述属性标签前一步的隐藏状态，更新所述属性标签当前的隐藏状态，以生成对应所述属性标签的隐藏状态。于本专利技术的一实施例中，在获取对应人体关键点的部位特征图之前，所述行人属性识别网络训练方法还包括以下步骤：搭建所述行人属性识别网络的网络模型；对所述网络模型进行初始化。于本专利技术的一实施例中，在根据所述隐藏状态和所述特征向量，预测所述属性标签存在的置信度步骤之后，所述行人属性识别网络训练方法还包括以下步骤：基于所述置信度定义损失函数，以获取损失值；所述损失值用来表征所述行人属性识别网络对行人属性识别的结果和真实结果之间的差异；循环执行所述行人属性识别网络训练方法的步骤，直至所述损失值不再下降，停止训练，选取损失值最小值对应的行人属性识别网络作为最终行人属性识别网络。本专利技术另一方面提供一种行人属性识别网络训练系统，所述行人属性识别网络训练系统包括：获取模块、输入模块、融合模块、学习模块、生成模块和预测模块；所述获取模块用于获取对应人体关键点的部位特征图；所述人体关键点对应人体身体关节；所述输入模块用于将属性标签输入预先训练的词向量获取模型中，输出与所述属性标签对应的词向量；所述属性标签是指行人自然带有的标签；所述融合模块用于将所述部位特征图与所述词向量融合，以形成融合结果；所述学习模块用于利用所述融合结果提取部位特征的注意力，并将所述部位特征的注意力与所述融合结果结合，学习与所述属性标签对应的特征向量；所述生成模块用于将所述特征向量引入图神经网络，生成对应所述属性标签的隐藏状态；所述隐藏状态包括所述属性标签的自身属性信息；所述预测模块用于根据所述隐藏状态和所述特征向量，预测所述属性标签存在的置信度。本专利技术又一方面提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的行人属性识别网络训练方法。本专利技术最后一方面提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的行人属性识别网络训练方法。如上所述，本专利技术所述的行人属性识别网络训练方法、系统、介质及终端，具有以下有益效果：(1)本专利技术采用了基于统计属性标签同现的方法构造关系图，并引入门循环机制的图神经网络来探索属性标签之间的信息，提取了属性之间的相关性，大大提高了分类的准确性和可信度；(2)本专利技术通过提取人体关键点特征结合图神经网络来进行行人属性识别，降低了网络计算复杂度，减少了网络计算的消耗，提高了计算速度，使行人属性识别网络拥有良好的性能，可应对复杂多样的情景，诸如行人重识别、视频监控、刑事侦查、人脸识别、身份本文档来自技高网...

【技术保护点】
1.一种行人属性识别网络训练方法，其特征在于，所述行人属性识别网络训练方法包括以下步骤：/n获取对应人体关键点的部位特征图；所述人体关键点对应人体身体关节；/n将属性标签输入预先训练的词向量获取模型中，输出与所述属性标签对应的词向量；所述属性标签是指行人自然带有的标签；/n将所述部位特征图与所述词向量融合，以形成融合结果；/n利用所述融合结果提取部位特征的注意力，并将所述部位特征的注意力与所述融合结果结合，学习与所述属性标签对应的特征向量；/n将所述特征向量引入图神经网络，生成对应所述属性标签的隐藏状态；所述隐藏状态包括所述属性标签的自身属性信息；/n根据所述隐藏状态和所述特征向量，预测所述属性标签存在的置信度。/n

【技术特征摘要】
1.一种行人属性识别网络训练方法，其特征在于，所述行人属性识别网络训练方法包括以下步骤：
获取对应人体关键点的部位特征图；所述人体关键点对应人体身体关节；
将属性标签输入预先训练的词向量获取模型中，输出与所述属性标签对应的词向量；所述属性标签是指行人自然带有的标签；
将所述部位特征图与所述词向量融合，以形成融合结果；
利用所述融合结果提取部位特征的注意力，并将所述部位特征的注意力与所述融合结果结合，学习与所述属性标签对应的特征向量；
将所述特征向量引入图神经网络，生成对应所述属性标签的隐藏状态；所述隐藏状态包括所述属性标签的自身属性信息；
根据所述隐藏状态和所述特征向量，预测所述属性标签存在的置信度。


2.根据权利要求1所述的行人属性识别网络训练方法，其特征在于，获取对应人体关键点的部位特征图包括以下步骤：
采集行人图像，并将采集的所述行人图像分为训练集和测试集；
将作为训练集的行人图像输入关键点提取模型中，以提取出人体关键点信息，并基于所述人体关键点信息，生成关键点特征图；
根据所述人体关键点对应的自然语义，生成对应所述人体关键点的候选框；所述自然语义为所述人体关键点对应所述身体关节的名称；
对所述候选框进行池化操作，以获取具有固定尺寸的所述部位特征图。


3.根据权利要求2所述的行人属性识别网络训练方法，其特征在于，对所述候选框进行池化操作，以获取具有固定尺寸的所述部位特征图包括以下步骤：
将所述候选框输入全卷积网络，以提取出所述候选框的宽度、高度和信道数；
根据作为训练集的所述行人图像，将所述候选框映射到其在所述关键点特征图上的对应位置；
将映射后的区域划分为相同大小的子块；
对所述子块进行池化操作，以获取具有固定尺寸的所述部位特征图。


4.根据权利要求1所述的行人属性识别网络训练方法，其特征在于，利用所述融合结果提取部位特征的注意力，并将所述部位特征的注意力与所述融合结果结合，学习与所述属性标签对应的特征向量包括以下步骤：
将所述融合结果输入注意力函数，以获取所述部位特征对于所述属性标签的重要性；所述重要性体现为所述注意力函数的输出值；
通过逻辑回归函数对所述输出值进行归一化处理；
将所述部位特征的注意力与所述融合结果结合，对经所述归一化处理后的结果进行加权平均池化，以学习所述特征向量。


5.根据权利要求1所述的行人属性识别网络训练方法，其特征在于，将所述特征向量引入图神经网络，生成对应所述属性标签的隐藏状态包括以下步骤：
...

【专利技术属性】
技术研发人员：王海涛，成西锋，袁德胜，姚磊，张宏俊，王作辉，游浩泉，刘耀文，吴贺丰，
申请(专利权)人：汇纳科技股份有限公司，
类型：发明
国别省市：上海;31