基于循环神经网络注意力模型的行人属性识别网络及技术制造技术

本发明专利技术提供了一种基于循环神经网络注意力模型的行人属性识别网络和行人属性识别技术。所述行人属性识别网络包括使用行人原始全身图像作为输入提取行人全身图像特征的第一卷积神经网络；使用行人全身图像特征作为第一输入，上一时刻关注的属性组别的注意力热图作为第二输入，输出当前时刻所关注的属性组别的注意力热图和经过局部高亮的行人特征的循环神经网络；使用经过局部高亮的行人特征作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。本发明专利技术利用卷积循环神经网络注意力模型挖掘行人属性区域空间位置的关联关系，更加准确地高亮图像中属性对应区域的位置，实现了更高的行人属性识别精度。

Pedestrian Attribute Recognition Network and Technology Based on Circulating Neural Network Attention Model

The invention provides a pedestrian attribute recognition network and a pedestrian attribute recognition technology based on a cyclic neural network attention model. The pedestrian attribute recognition network includes a first convolution neural network which extracts pedestrian whole-body image features using pedestrian original whole-body image as input, a pedestrian whole-body image feature as the first input, and a attention thermogram of the attribute group concerned at the previous moment as the second input to output the attributes concerned at the current moment. Group attention thermogram and cyclic neural network with locally highlighted pedestrian features are used as inputs to output the second convolution neural network with the predictive probability of attributes of the current group of concern. The invention utilizes the attention model of convolution cyclic neural network to mine the correlation relationship of spatial position of pedestrian attribute area, more accurately highlights the position of attribute corresponding area in the image, and achieves higher recognition accuracy of pedestrian attribute.

【技术实现步骤摘要】
基于循环神经网络注意力模型的行人属性识别网络及技术
本专利技术属于神经网络和图像识别
，尤其涉及一种基于循环神经网络注意力模型的行人属性识别网络及技术。
技术介绍
行人属性识别技术能够帮助人们自动完成从海量的图像和视频数据中搜寻特定人员的任务。但是由于监控视频的图像质量低、有标注的行人属性数据集较小、难以获得等因素的影响，极大地增加了从监控视频图像中进行行人属性识别的难度。现有的基于深度神经网络的行人属性识别方法分为卷积神经网络(CNN)方法和卷积神经网络与循环神经网络结合方法(CNN-RNN)两大类。现有的CNN方法如DeepMAR方法尝试孤立地从整张图像的特征中识别每一种行人的属性，虽然这种方法取得了一定的效果，但是它忽视了行人属性的空间局部性和属性之间的关联关系，难以得到更高的识别精度。现有的CNN-RNN方法如JRL方法试图使用循环神经网络逐步挖掘行人属性之间的语义关联关系，如穿裙子的一般是女人等，在识别精度上较纯CNN方法有一定的提高。然而，这种方法只考虑了行人属性间的语义联系却忽视了属性的空间局部性。行人的很多属性的焦点集中在图像的某一个区域里，例如是否戴眼镜和是否留长发都只决定于行人头部区域的视觉特征，其他区域用处不大。如果将这种空间的局部性考虑到行人属性识别模型的构建过程当中去，在识别头部属性的时候高亮头部区域，忽视背景噪声的干扰，就可以大大提高行人属性识别精度。
技术实现思路
为了解决上述技术问题，本专利技术提供一种基于循环神经网络注意力模型的行人属性识别网络，包括：使用行人原始全身图像作为输入提取行人全身图像特征N(x)的第一卷积神经网络；使用行人全身图像特征N(x)作为第一输入，上一时刻关注的属性组别的注意力热图At-1(x)作为第二输入，输出当前时刻所关注的属性组别的注意力热图At(x)和经过局部高亮的行人特征Ht(x)的循环神经网络；使用经过局部高亮的行人特征Ht(x)作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。进一步的，所述经过局部高亮的行人特征Ht(x)是使用上一时刻关注的属性组别的注意力热图At-1(x)作用在行人全身图像特征N(x)上得到的，计算公式如下：进一步的，对所述属性预测概率输出使用批正则化操作，以对抗属性正负例样本不平衡带来的识别误差。进一步的，所述行人属性识别网络包括：对于同一张行人原始全身图像的每一个不同的属性组别，循环神经网络的记忆单元状态由所有已经预测过的属性组别的局部高亮过的行人特征共同决定；对于不同的预测时刻第一卷积神经网络共享权值；对于不同的预测时刻第二卷积神经网络共享权值。进一步的，所述行人属性识别网络使用加权Sigmoid交叉熵损失函数进行训练，所述损失函数如下：wf＝exp(pj)上述公式中，pj代表属性j的正例数量在训练集中的占比，wj代表正例样本的学习权重，表示模型输出模型对第i个样本预测是否包含第j个属性的概率，yij为第i个样本的第j个属性的标签，N为训练样本总数，K为待识别的属性总数。本专利技术还提供一种基于循环神经网络注意力模型的行人属性识别技术，包括：S1.获取一定数量的具有待识别属性的行人图像，并对图像是否具有某种或某些属性进行标注，获取可以用来训练行人属性识别效果的数据集；并对标注的所有属性按照语义和空间近邻关系进行分组；S2.利用Inception网络和卷积循环神经网络相结合，构建基于卷积循环神经网络注意力模型的行人属性识别网络；S3.定义训练行人属性识别网络所需的损失函数，并使用步骤S1获取的训练数据集对步骤S2中构建的行人属性识别网络进行训练；S4.使用经步骤S3训练得到的行人属性识别网络对待识别行人图像中的属性进行识别。进一步的，所述步骤S2包括：S2-1.使用Inception网络对行人原始全身图像进行抽取得到行人全身图像特征N(x)；S2-2.在时刻i，利用行人全身图像特征N(x)使用卷积循环神经网络计算当前时刻所关注的属性组别的注意力热图At(x)，并将历史信息存储在卷积循环神经网络的记忆单元中；S2-3.使用注意力热图At(x)作用在行人全身图像特征N(x)上得到经过局部高亮的行人特征Ht(x)，计算公式如下所示：S2-4.使用经过局部高亮的特征Ht(x)对第t组属性进行属性识别，输出本组属性预测概率。进一步的，所述步骤S3定义的损失函数如下所示：wj＝exp(pj)上述公式中，pj代表属性j的正例数量在训练集中的占比，wj代表正例样本的学习权重，表示模型输出模型对第i个样本预测是否包含第j个属性的概率，yij为第i个样本的第j个属性的标签，N为训练样本总数，K为待识别的属性总数。与现有技术相比，本专利技术的有益效果在于：本专利技术利用卷积循环神经网络注意力模型挖掘行人属性区域空间位置的关联关系，更加准确地高亮图像中属性对应区域的位置，实现了更高的行人属性识别精度。附图说明图1是基于循环神经网络注意力模型的行人属性识别网络的结构图。具体实施方式实施例1一种基于循环神经网络注意力模型的行人属性识别网络，如图1所示，包括：使用行人原始全身图像作为输入提取行人全身图像特征N(x)的第一卷积神经网络；使用行人全身图像特征N(x)作为第一输入，上一时刻关注的属性组别的注意力热图At-1(x)作为第二输入，输出当前时刻所关注的属性组别的注意力热图At(x)和经过局部高亮的行人特征Ht(x)的循环神经网络；使用经过局部高亮的行人特征Ht(x)作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。在本实施例提供的行人属性识别网络中，所述经过局部高亮的行人特征Ht(x)是使用上一时刻关注的属性组别的注意力热图At-1(x)作用在行人全身图像特征N(x)上得到的，计算公式如下：在本实施例提供的行人属性识别网络中，对所述属性预测概率输出使用批正则化操作，以对抗属性正负例样本不平衡带来的识别误差。在本实施例提供的行人属性识别网络中，还包括：对于同一张行人原始全身图像的每一个不同的属性组别，循环神经网络的记忆单元状态由所有已经预测过的属性组别的局部高亮过的行人特征共同决定；对于不同的预测时刻第一卷积神经网络共享权值；对于不同的预测时刻第二卷积神经网络共享权值。在本实施例提供的行人属性识别网络中，所述行人属性识别网络使用加权Sigmoid交叉熵损失函数进行训练，所述损失函数如下：wj＝exp(pj)上述公式中，pj代表属性j的正例数量在训练集中的占比，wj代表正例样本的学习权重，表示模型输出模型对第i个样本预测是否包含第j个属性的概率，yij为第i个样本的第j个属性的标签，N为训练样本总数，K为待识别的属性总数。实施例2一种基于循环神经网络注意力模型的行人属性识别技术，包括：S1.获取一定数量的具有待识别属性的行人图像，并对图像是否具有某种或某些属性进行标注，获取可以用来训练行人属性识别效果的数据集；然后对标注的所有属性进行筛选，再将筛选获得的属性按照语义和空间近邻关系分组；S2.利用Inception网络和卷积循环神经网络相结合，构建基于卷积循环神经网络注意力模型的行人属性识别网络，具体包括：S2-1.使用Inception网络对行人原始全身图像进行抽取得到行人全身图像特征N(x)；S2-2.在时刻i，利用行人全本文档来自技高网...

【技术保护点】
1.一种基于循环神经网络注意力模型的行人属性识别网络，其特征在于，包括：使用行人原始全身图像作为输入提取行人全身图像特征N(x)的第一卷积神经网络；使用行人全身图像特征N(x)作为第一输入，上一时刻关注的属性组别的注意力热图At‑1(x)作为第二输入，输出当前时刻所关注的属性组别的注意力热图At(x)和经过局部高亮的行人特征Ht(x)的循环神经网络；使用经过局部高亮的行人特征Ht(x)作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。

【技术特征摘要】
1.一种基于循环神经网络注意力模型的行人属性识别网络，其特征在于，包括：使用行人原始全身图像作为输入提取行人全身图像特征N(x)的第一卷积神经网络；使用行人全身图像特征N(x)作为第一输入，上一时刻关注的属性组别的注意力热图At-1(x)作为第二输入，输出当前时刻所关注的属性组别的注意力热图At(x)和经过局部高亮的行人特征Ht(x)的循环神经网络；使用经过局部高亮的行人特征Ht(x)作为输入，输出当前关注组别的属性预测概率的第二卷积神经网络。2.根据权利要求1所述的行人属性识别网络，其特征在于，所述经过局部高亮的行人特征Ht(x)是使用上一时刻关注的属性组别的注意力热图At-1(x)作用在行人全身图像特征N(x)上得到的，计算公式如下：3.根据权利要求2所述的行人属性识别网络，其特征在于，对所述属性预测概率输出使用批正则化操作。4.根据权利要求1-3任一所述的行人属性识别网络，其特征在于，包括：对于同一张行人原始全身图像的每一个不同的属性组别，循环神经网络的记忆单元状态由所有已经预测过的属性组别的局部高亮过的行人特征共同决定；对于不同的预测时刻第一卷积神经网络共享权值；对于不同的预测时刻第二卷积神经网络共享权值。5.根据权利要求4所述的行人属性识别网络，其特征在于，所述行人属性识别网络使用加权Sigmoid交叉熵损失函数进行训练，所述损失函数如下：wj＝exp(pj)上述公式中，pj代表属性j的正例数量在训练集中的占比，wj代表正例样本的学习权重，表示模型输出模型对第i个样本预测是否包含第j个属性的概率，yij为第i个样本的第j个属性的标签，N为训练样本总数，K为待识别的属性总数。6.一种基于循环神经网络注意力模...

【专利技术属性】
技术研发人员：丁贵广，赵鑫，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11