一种行人属性识别方法及系统、存储介质及终端技术方案

本发明专利技术提供一种行人属性识别方法及系统、存储介质及终端，包括自监督学习阶段和推理阶段；自监督学习阶段包括提取训练图片的人体骨骼关键点；根据人体骨骼关键点提取人体分块的候选框；获取各个候选框与自然语义对应的二值属性掩码；提取训练图片的三维特征图；基于自监督学习算法训练从三维特征图提取人体分块的热力图；根据三维特征图和热力图生成人体分块的分块特征图；根据每个分块特征图生成对应的标签概率集合；根据标签概率集合和所述二值属性掩码生成行人属性识别结果；所述推理阶段根据所述自监督学习阶段获取的模型进行行人属性识别。本发明专利技术的行人属性识别方法及系统、存储介质及终端能够准确识别行人属性且有效降低网络计算复杂度。

A pedestrian attribute recognition method and its system, storage medium and terminal

【技术实现步骤摘要】
一种行人属性识别方法及系统、存储介质及终端
本专利技术涉及属性识别的
，特别是涉及一种行人属性识别方法及系统、存储介质及终端。
技术介绍
行人属性是对行人外观特征、生理特征以及隐藏特征的可搜索的自然语言描述，例如衣着、肤色、年龄、性别等等。行人属性识别旨在识别图像中目标人物的各种属性，其核心思路可表述为：给定行人图像I，从预定义的属性标签集T＝{t1，t2，t3……tn}中提取一个子集来描述图像中人物具有的各种属性特征。行人属性识别是计算机视觉的一个重要方向，广泛应用于视频监控、行人重识别、人脸识别、身份验证等领域。行人属性识别属于多标签分类问题，但属性的多样性以及图像由于光线、角度、镜头分辨率等造成的模糊、遮挡、数据分布不均衡等客观因素，对行人属性识别的效果产生了巨大的影响。具体地，行人属性识别主要存在以下几个问题：(1)行人的各种属性大小、形状存在巨大的差异，因此有的属性需要浅层特征，而有的属性需要高层特征，有的属性需要局部特征，有的属性需要全局特征才能识别。因此，如何提取一个能够包括所有不同属性的特征是非常重要的问题。(2)同一个属性往往在不同的位置出现，如背包在人体上具有多个位置。因此，如何消除不同样本间属性位置不同带来的影响就非常重要。现有技术中，行人属性识别通过人工提取特征，并针对每个不同的属性分别训练分类器。典型的例子有方向梯度直方图(HistogramofOrientedGradient，HOG)、尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)、支持向量机(SupportVectorMachine，SVM)或条件随机场(conditionalrandomfield，CRF)模型。但上述算法远远不够满足实际应用的需求。随着卷积神经网络的发展，开始尝试把所有属性置于同一个网络进行多任务训练，并发现多任务训练能够带来更好的效果。目前，基于深度学习行人属性识别方法的基本思路是将样本输入同一个卷积神经网络(ConvolutionalNeuralNetworks，CNN)，并输出多个行人属性的标签进行分类。根据不同的具体实现方式，这些方法大致可分为基于全局的、基于局部的、基于视觉注意力的、基于图像序列预测的、基于新的损失函数的、基于图形模型的等等。但上述方法计算复杂度较高，导致系统消耗较大。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种行人属性识别方法及系统、存储介质及终端，通过采用基于自监督注意力机制的行人属性识别技术能够快速准确有效地对行人外观特征、生理特征以及隐藏特征匹配可搜索的自然语言描述，且能够有效降低网络计算复杂度，减少网络计算的消耗。为实现上述目的及其他相关目的，本专利技术提供一种行人属性识别方法，包括自监督学习阶段和推理阶段；所述自监督学习阶段包括：提取训练图片的人体骨骼关键点；根据所述人体骨骼关键点提取人体分块的候选框；获取各个候选框与自然语义对应的二值属性掩码；提取所述训练图片的三维特征图；基于自监督学习算法训练从所述三维特征图提取人体分块的热力图，所述热力图与所述候选框一一对应；根据所述三维特征图和所述热力图生成人体分块的分块特征图；根据每个分块特征图生成对应的标签概率集合；根据所述标签概率集合和所述二值属性掩码生成行人属性识别结果；所述推理阶段包括：提取输入图片的三维特征图；基于训练好的自监督学习算法根据三维特征图提取人体分块的热力图；根据所述三维特征图和所述热力图生成人体分块的分块特征图；根据每个分块特征图生成对应的标签概率集合；获取所述输入图片的各个人体分块的与自然语义对应的二值属性掩码；根据所述标签概率集合和二值属性掩码生成行人属性识别结果。于本专利技术一实施例中，在所述自监督学习阶段，基于深度学习的DeepPose网络、DensePose网络或Openpose网络提取所述人体骨骼关键点；在所述自监督学习阶段和所述推理阶段，基于卷积神经网络、ResNet网络或MobileNet网络提取所述三维特征图；在所述自监督学习阶段，基于RPN网络提权所述候选框。于本专利技术一实施例中，设定C＝{c0，c1，......，cN-1}为行人属性标签，所述二值属性掩码为R＝{r0，r1，......，rM-1}，其中ri＝{r(i，0)，r(i，1)，r(i，2)……r(i，N-1)}，0≤i≤M-1；0≤j≤N-1；M和N均为自然数。于本专利技术一实施例中，基于自监督学习算法训练从所述三维特征图提取人体分块的热力图包括以下步骤：基于每个候选框生成一张二值热力标签图，所述二值热力标签图中坐标在所述候选框内的像素值设为1，在所述候选框外的像素值设为0；将所述三维特征图输入一层卷积核大小为1*1的卷积层得到一个通道数为候选框个数的特征图；将所述特征图输入Sigmoid激活层得到所述候选框个数张热力图；将所述热力标签图缩放到所述热力图的大小，以实现所述热力图和所述热力标签图上点的一一对应，将所述热力图和所述热力标签图逐像素计算logistic回归损失，求和得出所述训练照片的损失值，再反向传播所述损失值，更新提取所述热力图和所述三维特征图的神经网络参数；重复进行数据训练，以使所述热力图与所述候选框相拟合。于本专利技术一实施例中，根据所述三维特征图和所述热力图生成人体分块的分块特征图时，将所述热力图与所述三维特征图在空间上逐像素相乘，即可得到所述分块特征图。于本专利技术一实施例中，基于一系列卷积层和全连接层生成所述标签概率Pi＝{P(i，0)，P(i，1)，P(i，j)......P(i，N-1)}，其中P(i，j)表示第i个分块特征图中存在行人属性标签中第j个属性的概率，N表示标签个数，0≤i≤M-1。于本专利技术一实施例中，所述行人属性识别结果为T＝{t0，t1，......，tN-1}，其中，M为候选框的数量，N为标签个数，p(i，j)为第i个分块特征图中存在行人属性标签中第j个属性的概率，r(i，j)为标签cj能否被候选框i推理的二值属性掩码，0≤i≤M-1，0≤j≤N-1；M和N均为自然数。对应地，本专利技术提供一种行人属性识别系统，包括自监督学习模块和推理模块；所述自监督学习模块包括关键点提取模块、注意力分割模块、推理模块、特征提取模块、注意力提取模块、合并模块、标签计算模块和推理融合模块；所述自监督学习阶段包括：所述关键点提取模块用于提取训练图片的人体骨骼关键点；所述注意力分割模块用于根据所述人体骨骼关键点提取人体分块的候选框；所述推理模块用于获取各个候选框与自然语义对应的二值属性掩码；所述特征提取模块用于提取所述训练图片的三维特征图；所述注意力提取模块用于基于自监督学习算法训练从所述三维特征图提取人体分块的热力图，所述热力图与所述候选框一一对应；所述合并模块用于根据所述三维特征图和所述热力图生成人体分块的分块特征图；所述标签计算模块用于根据每个分块本文档来自技高网...

【技术保护点】
1.一种行人属性识别方法，其特征在于：包括自监督学习阶段和推理阶段；/n所述自监督学习阶段包括：/n提取训练图片的人体骨骼关键点；/n根据所述人体骨骼关键点提取人体分块的候选框；/n获取各个候选框与自然语义对应的二值属性掩码；/n提取所述训练图片的三维特征图；/n基于自监督学习算法训练从所述三维特征图提取人体分块的热力图，所述热力图与所述候选框一一对应；/n根据所述三维特征图和所述热力图生成人体分块的分块特征图；/n根据每个分块特征图生成对应的标签概率集合；/n根据所述标签概率集合和所述二值属性掩码生成行人属性识别结果；/n所述推理阶段包括：/n提取输入图片的三维特征图；/n基于训练好的自监督学习算法根据三维特征图提取人体分块的热力图；/n根据所述三维特征图和所述热力图生成人体分块的分块特征图；/n根据每个分块特征图生成对应的标签概率集合；/n获取所述输入图片的各个人体分块的与自然语义对应的二值属性掩码；/n根据所述标签概率集合和二值属性掩码生成行人属性识别结果。/n

【技术特征摘要】
1.一种行人属性识别方法，其特征在于：包括自监督学习阶段和推理阶段；
所述自监督学习阶段包括：
提取训练图片的人体骨骼关键点；
根据所述人体骨骼关键点提取人体分块的候选框；
获取各个候选框与自然语义对应的二值属性掩码；
提取所述训练图片的三维特征图；
基于自监督学习算法训练从所述三维特征图提取人体分块的热力图，所述热力图与所述候选框一一对应；
根据所述三维特征图和所述热力图生成人体分块的分块特征图；
根据每个分块特征图生成对应的标签概率集合；
根据所述标签概率集合和所述二值属性掩码生成行人属性识别结果；
所述推理阶段包括：
提取输入图片的三维特征图；
基于训练好的自监督学习算法根据三维特征图提取人体分块的热力图；
根据所述三维特征图和所述热力图生成人体分块的分块特征图；
根据每个分块特征图生成对应的标签概率集合；
获取所述输入图片的各个人体分块的与自然语义对应的二值属性掩码；
根据所述标签概率集合和二值属性掩码生成行人属性识别结果。


2.根据权利要求1所述的行人属性识别方法，其特征在于：在所述自监督学习阶段，基于深度学习的DeepPose网络、DensePose网络或Openpose网络提取所述人体骨骼关键点；在所述自监督学习阶段和所述推理阶段，基于卷积神经网络、ResNet网络或MobileNet网络提取所述三维特征图；在所述自监督学习阶段，基于RPN网络提权所述候选框。


3.根据权利要求1所述的行人属性识别方法，其特征在于：设定C＝{c0，c1，......，cN-1}为行人属性标签，所述二值属性掩码为R＝{r0，r1，......，rM-1}，其中ri＝{r(i，0)，r(i，1)，r(i，2)……r(i，N-1)}，0≤i≤M-1；
0≤j≤N-1；M和N均为自然数。


4.根据权利要求1所述的行人属性识别方法，其特征在于：基于自监督学习算法训练从所述三维特征图提取人体分块的热力图包括以下步骤：
基于每个候选框生成一张二值热力标签图，所述二值热力标签图中坐标在所述候选框内的像素值设为1，在所述候选框外的像素值设为0；
将所述三维特征图输入一层卷积核大小为1*1的卷积层得到一个通道数为候选框个数的特征图；将所述特征图输入Sigmoid激活层得到所述候选框个数张热力图；
将所述热力标签图缩放到所述热力图的大小，以实现所述热力图和所述热力标签图上点的一一对应，将所述热力图和所述热力标签图逐像素计算logistic回归损失，求和得出所述训练照片的损失值，再反向传播所述损失值，更新提取所述热力图和所述三维特征图的神经网络参数；
重复进行数据训练，以使所述热力图与所述候选框相拟合。


5.根据权利要求1所述的行人属性识别方法，其特征在于：根据所述三维特征图和所述热力图生成人体分块的分块特征图时，将所述热力图与所述三维特征图在空间...

【专利技术属性】
技术研发人员：王海涛，成西锋，袁德胜，姚磊，张宏俊，王作辉，游浩泉，刘耀文，吴贺丰，
申请(专利权)人：汇纳科技股份有限公司，
类型：发明
国别省市：上海;31