监控场景下高层语义指导的行人属性识别方法技术

一种监控场景下属性层次关系指导的行人属性识别方法，包括：根据行人属性的层次特性及不同层次属性间的关系改进网络结构，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；根据行人属性的位置约束改进网络结构，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；选用加权交叉熵损失函数，以各属性的正样本比例作为权重系数；把训练集输入改进后的卷积神经网络，得出行人属性识别模型；将测试集输入到行人属性识别模型中进行识别，对行人属性识别模型的实验结果进行评估；本方法可分析更深层次的行人属性，更好挖掘属性的层次关系以及位置约束，使属性识别结果更全面和准确。

【技术实现步骤摘要】
监控场景下高层语义指导的行人属性识别方法
本专利技术涉及模式识别技术、计算机视觉技术等领域，具体的说，是监控场景下高层语义指导的行人属性识别方法。
技术介绍
近年来，随着模式识别和计算机视觉的发展，目标识别技术得到了很大的发展，并且在安防领域实现了大量的应用。安防人员通过分布在城市各个角落的监控摄像头，维护着城市安全。如果发生了突发事故，要从海量的监控图像中寻找到需要的信息，必然会损耗大量的人力物力。摄像头监控的主要目标是行人，如果可以实现对行人属性有效的识别，会给监控视频检索工作带来很大的便利。由于这种需求，越来越多的研究人员开始研究行人属性识别。行人属性识别的一种传统识别算法为人工神经网络，它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型。基于人工神经网络的训练算法为反向传播算法，它使得网络模型经过对大量训练样本进行学习的过程能够获得统计规律，从而对未知事件做出预测。人工神经网络优点在于具有较强的非线性映射能力、自学习和自适应能力、泛化能力和一定的容错能力，但是存在以下缺点，在行人识别样本训练时收敛速度慢，且其训练过程为监督过程，而对训练样本的标注即费时又费力，并且视频行人识别涉及到大量数据的计算和分析，外加一些环境因素的干扰，传统行人属性识别算法无法提取到图像的优越特征，导致识别率有限。在监控场景下，摄像头远距离拍摄行人，造成图片的分辨率较低，大部分图片很模糊，再加上光照变化(白天和夜晚)，监控摄像头不同拍摄角度行人姿态的不同变化，现实生活中物体的遮挡等，造成行人是否佩戴眼镜等细粒度的属性很难识别出来，给研究工作带来了极大的挑战性。行人属性识别任务起初采用具有参数共享的卷积神经网络，该方法将行人属性识别视作一项多标签分类问题来处理。在次基础上，卷积神经网络不同层的特征被级联起来作为最终输入属性分类器的特征，以此达到结合全局和局部特征的目的。由于这种做法忽略了不同的特征表示之间的相关性，因此通常会产生冗余的特征并带来较大的计算开销。此后，一种基于深度学习的单属性识别模型被提出，该模型逐个识别每种属性，然后引入统一的多属性联合学习模型来同时学习所有属性，其中每种属性的训练学习都会对其他属性的特征表示产生影响，以此达到学习属性间依赖关系的目的。尽管这些方法能够学习属性之间的依赖性，但是网络中并没有特定的结构单元来显示地表示这种关系，并且都忽略了属性的层次化特性。此外，当前研究者通过卷积姿态网络检测得到的人体关键点生成行人的不同身体部件，从而基于每个身体部件进行相应的行人属性识别，以此到达探究属性与位置之间关系的目的。早期的基于深度特征的行人属性识别方法通常独立地对每种属性进行识别，由于每种属性具有不同的表现特性和抽象级别，并且在识别时更加倾向于提取特定的信息，因此，这些方法的识别性能往往受到限制。后期的方法通过挖掘属性之间的简单关系以及属性与位置之间的关系来提高行人属性识别的性能，然而，这些方法都忽略了属性的层次化特性。目前，行人属性识别主要研究于自然场景和监控场景。自然场景下的研究已经在人脸识别和属性识别取得了很大的成果，然而在监控场景下，由于图像模糊、分辨率差、姿态差异大、光照变化大，研究起来更加具有挑战性。
技术实现思路
根据本专利技术的一个方面，提供了一种监控场景下高层语义指导的行人属性识别方法，其特征在于包括：S1)根据行人属性的层次特性以及不同层次属性间的关系对网络结构进行改进，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；S2)根据行人属性的位置约束对网络结构进行改进，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；S3)选用加权交叉熵损失函数，以各个属性的正样本比例作为权重系数；S4)把训练集输入改进后的卷积神经网络，得出行人属性识别模型；其中：所述步骤S1)包括：S1.1)按照行人属性所处的语义抽象级别将行人属性分为低层属性、中层属性和高层属性，其中，低层属性关注于颜色、纹理等表观细节描述，中层属性关注于衣物、发型、配饰以及携带物等既包含语义信息又包含表观信息的属性描述，高层属性关注于性别、年龄等抽象语义描述；S1.2)在GoogLeNet中选取Inception4a/output、Inception4d/output和Inception5b/output三层的特征图用于三个不同层次的属性识别任务；S1.3)通过将低层以及中层属性的识别概率分数连接起来得到在进行高层属性识别时的先验概率，然后将其作为全连接层的输入，全连接层的输出为以此为先验的情况下得到的高层属性识别的后验概率，所述步骤S2)包括：S2.1)对行人属性数据集中的标注属性进行分类，将所有的属性分为全局属性和局部属性，其中局部属性又分为头部、上身、腰间、下身以及脚部五个区域部位相关的属性；S2.2)网络的低层特征包含有更多的颜色、纹理等细节信息，特征图的通道数量较少且空间分辨率较高，所以引入空间注意力机制对特征图进行重标定，进而实现对不同位置约束下的低层属性的实现；S2.3)高层特征具有更高的抽象级别和可判别性，特征图的通道数量较多且空间分辨率较低，所以引入通道注意力机制对特征图进行重标定，进而实现对不同位置约束下的高层属性的识别；S2.4)由于中层属性的识别既依赖于表观细节信息又依赖于抽象语义信息，介于低层属性和高层属性之间，所以引入双重注意力机制学习注意力权重，进而实现对不同位置约束下的中层属性的识别。附图说明图1为根据本专利技术的网络结构图。图2为行人属性分层示意图。图3为行人属性位置约束示意图。具体实施方式本专利技术的目的在于提供一种高层语义指导的行人属性识别方法，可以分析更深层次的行人属性，更好的挖掘属性的层次关系以及位置约束，使属性识别结果更加全面和准确。本专利技术通过下述技术方案实现：监控场景下高层语义指导的行人属性识别方法，包括以下步骤：S1)根据行人属性的层次特性以及不同层次属性间的关系对网络结构进行改进，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；S2)根据行人属性的位置约束对网络结构进行改进，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；S3)选用加权交叉熵损失函数，以各个属性的正样本比例作为权重系数；S4)把训练集输入改进后的卷积神经网络，得出行人属性识别模型；S5)将测试集输入到行人属性识别模型中进行识别，对行人属性识别模型的实验结果进行评估。进一步的为更好地实现本专利技术，特别采用下述设置方式：所述步骤S1)遵循以下原则：S1.1)按照行人属性所处的语义抽象级别将行人属性分为低层属性、中层属性和高层属性，其中，低层属性关注于颜色、纹理等表观细节描述，中层属性关注于衣物、发型、配饰以及携带物等既包含语义信息又包含表观信息的属性描述，高层属性关注于性别、年本文档来自技高网...

【技术保护点】
1.监控场景下高层语义指导的行人属性识别方法，其特征在于包括以下步骤：/nS1)根据行人属性的层次特性以及不同层次属性间的关系对网络结构进行改进，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；/nS2)根据行人属性的位置约束对网络结构进行改进，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；/nS3)选用加权交叉熵损失函数，以各个属性的正样本比例作为权重系数；/nS4)把训练集输入改进后的卷积神经网络，得出行人属性识别模型；/nS5)将测试集输入到行人属性识别模型中进行识别，对行人属性识别模型的实验结果进行评估，/n其中：/n所述步骤S1)包括：/nS1.1)按照行人属性所处的语义抽象级别将行人属性分为低层属性、中层属性和高层属性，其中，低层属性关注于颜色、纹理等表观细节描述，中层属性关注于衣物、发型、配饰以及携带物等既包含语义信息又包含表观信息的属性描述，高层属性关注于性别、年龄等抽象语义描述；/nS1.2)在GoogLeNet中选取Inception4a/output、Inception4d/output和Inception5b/output三层的特征图用于三个不同层次的属性识别任务；/nS1.3)通过将低层以及中层属性的识别概率分数连接起来得到在进行高层属性识别时的先验概率，然后将其作为全连接层的输入，全连接层的输出为以此为先验的情况下得到的高层属性识别的后验概率，/n所述步骤S2)包括：/nS2.1)对行人属性数据集中的标注属性进行分类，将所有的属性分为全局属性和局部属性，其中局部属性又分为头部、上身、腰间、下身以及脚部五个区域部位相关的属性；/nS2.2)网络的低层特征包含有更多的颜色、纹理等细节信息，特征图的通道数量较少且空间分辨率较高，所以引入空间注意力机制对特征图进行重标定，进而实现对不同位置约束下的低层属性的实现；/nS2.3)高层特征具有更高的抽象级别和可判别性，特征图的通道数量较多且空间分辨率较低，所以引入通道注意力机制对特征图进行重标定，进而实现对不同位置约束下的高层属性的识别；/nS2.4)由于中层属性的识别既依赖于表观细节信息又依赖于抽象语义信息，介于低层属性和高层属性之间，所以引入双重注意力机制学习注意力权重，进而实现对不同位置约束下的中层属性的识别。/n...

【技术特征摘要】
1.监控场景下高层语义指导的行人属性识别方法，其特征在于包括以下步骤：
S1)根据行人属性的层次特性以及不同层次属性间的关系对网络结构进行改进，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；
S2)根据行人属性的位置约束对网络结构进行改进，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；
S3)选用加权交叉熵损失函数，以各个属性的正样本比例作为权重系数；
S4)把训练集输入改进后的卷积神经网络，得出行人属性识别模型；
S5)将测试集输入到行人属性识别模型中进行识别，对行人属性识别模型的实验结果进行评估，
其中：
所述步骤S1)包括：
S1.1)按照行人属性所处的语义抽象级别将行人属性分为低层属性、中层属性和高层属性，其中，低层属性关注于颜色、纹理等表观细节描述，中层属性关注于衣物、发型、配饰以及携带物等既包含语义信息又包含表观信息的属性描述，高层属性关注于性别、年龄等抽象语义描述；
S1.2)在GoogLeNet中选取Inception4a/output、Inception4d/output和Inception5b/output三层的特征图用于三个不同层次的属性识别任务；
S1.3)通过将低层以及中层属性的识别概率分数连接起来得到在进行高层属性识别时的先验概率，然后将其作为全连接层的输入，全连接层的输出为以此为先验的情况下得到的高层属性识别的后验概率，
所述步骤S2)包括：
S2.1)对行人属性数据集中的标注属性进行分类，将所有的属性分为全局属性和局部属性，其中局部属性又分为头部、上身、腰间、下身以及脚部五个区域部位相关的属性；<...

【专利技术属性】
技术研发人员：胡海苗，安浩然，李波，浦世亮，
申请(专利权)人：北京航空航天大学，杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：北京;11