基于循环神经网络注意力模型的行人属性识别网络及技术制造技术

本发明专利技术提供了一种基于循环神经网络注意力模型的行人属性识别网络和行人属性识别技术。所述行人属性识别网络包括使用行人原始全身图像作为输入提取行人全身图像特征的第一卷积神经网络；使用行人全身图像特征作为第一输入，上一时刻关注的属性组别的注意力热图作为第二输入，输出当前时刻所关注的属性组别的注意力热图和经过局部高亮的行人特征的循环神经网络；使用经过局部高亮的行人特征作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。本发明专利技术利用卷积循环神经网络注意力模型挖掘行人属性区域空间位置的关联关系，更加准确地高亮图像中属性对应区域的位置，实现了更高的行人属性识别精度。

Pedestrian Attribute Recognition Network and Technology Based on Circulating Neural Network Attention Model

The invention provides a pedestrian attribute recognition network and a pedestrian attribute recognition technology based on a cyclic neural network attention model. The pedestrian attribute recognition network includes a first convolution neural network which extracts pedestrian whole-body image features using pedestrian original whole-body image as input, a pedestrian whole-body image feature as the first input, and a attention thermogram of the attribute group concerned at the previous moment as the second input to output the attributes concerned at the current moment. Group attention thermogram and cyclic neural network with locally highlighted pedestrian features are used as inputs to output the second convolution neural network with the predictive probability of attributes of the current group of concern. The invention utilizes the attention model of convolution cyclic neural network to mine the correlation relationship of spatial position of pedestrian attribute area, more accurately highlights the position of attribute corresponding area in the image, and achieves higher recognition accuracy of pedestrian attribute.

【技术实现步骤摘要】
基于循环神经网络注意力模型的行人属性识别网络及技术
本专利技术属于神经网络和图像识别
，尤其涉及一种基于循环神经网络注意力模型的行人属性识别网络及技术。
技术介绍
行人属性识别技术能够帮助人们自动完成从海量的图像和视频数据中搜寻特定人员的任务。但是由于监控视频的图像质量低、有标注的行人属性数据集较小、难以获得等因素的影响，极大地增加了从监控视频图像中进行行人属性识别的难度。现有的基于深度神经网络的行人属性识别方法分为卷积神经网络(CNN)方法和卷积神经网络与循环神经网络结合方法(CNN-RNN)两大类。现有的CNN方法如DeepMAR方法尝试孤立地从整张图像的特征中识别每一种行人的属性，虽然这种方法取得了一定的效果，但是它忽视了行人属性的空间局部性和属性之间的关联关系，难以得到更高的识别精度。现有的CNN-RNN方法如JRL方法试图使用循环神经网络逐步挖掘行人属性之间的语义关联关系，如穿裙子的一般是女人等，在识别精度上较纯CNN方法有一定的提高。然而，这种方法只考虑了行人属性间的语义联系却忽视了属性的空间局部性。行人的很多属性的焦点集中在图像的某一个区域里，例如是否戴眼镜和是否本文档来自技高网...

【技术保护点】
1.一种基于循环神经网络注意力模型的行人属性识别网络，其特征在于，包括：使用行人原始全身图像作为输入提取行人全身图像特征N(x)的第一卷积神经网络；使用行人全身图像特征N(x)作为第一输入，上一时刻关注的属性组别的注意力热图At‑1(x)作为第二输入，输出当前时刻所关注的属性组别的注意力热图At(x)和经过局部高亮的行人特征Ht(x)的循环神经网络；使用经过局部高亮的行人特征Ht(x)作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。

【技术特征摘要】
1.一种基于循环神经网络注意力模型的行人属性识别网络，其特征在于，包括：使用行人原始全身图像作为输入提取行人全身图像特征N(x)的第一卷积神经网络；使用行人全身图像特征N(x)作为第一输入，上一时刻关注的属性组别的注意力热图At-1(x)作为第二输入，输出当前时刻所关注的属性组别的注意力热图At(x)和经过局部高亮的行人特征Ht(x)的循环神经网络；使用经过局部高亮的行人特征Ht(x)作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。2.根据权利要求1所述的行人属性识别网络，其特征在于，所述经过局部高亮的行人特征Ht(x)是使用上一时刻关注的属性组别的注意力热图At-1(x)作用在行人全身图像特征N(x)上得到的，计算公式如下：3.根据权利要求2所述的行人属性识别网络，其特征在于，对所述属性预测概率输出使用批正则化操作。4.根据权利要求1-3任一所述的行人属性识别网络，其特征在于，包括：对于同一张行人原始全身图像的每一个不同的属性组别，循环神经网络的记忆单元状态由所有已经预测过的属性组别的局部高亮过的行人特征共同决定；对于不同的预测时刻第一卷积神经网络共享权值；对于不同的预测时刻第二卷积神经网络共享权值。5.根据权利要求4所述的行人属性识别网络，其特征在于，所述行人属性识别网络使用加权Sigmoid交叉熵损失函数进行训练，所述损失函数如下：wj＝exp(pj)上述公式中，pj代表属性j的正例数量在训练集中的占比，wj代表正例样本的学习权重，表示模型输出模型对第i个样本预测是否包含第j个属性的概率，yij为第i个样本的第j个属性的标签，N为训练样本总数，K为待识别的属性总数。6.一种基于循环神经网络注意力模...

【专利技术属性】
技术研发人员：丁贵广，赵鑫，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11