一种基于多尺度空间校正的行人属性识别方法技术

本发明专利技术公开了一种基于多尺度空间校正的行人属性识别方法，该方法包括获取行人图像数据，并进行预处理；构建包含特征金字塔结构、空间校正模块和多尺度特征融合模块的行人属性识别网络模型，采用预处理后的行人图像数据进行模型训练；利用训练后的行人属性识别网络模型对待识别行人图像中的行人属性进行识别。本发明专利技术利用空间校正模块将特征金字塔中的相邻特征同时输入，利用小尺度的高层语义信息指导大尺度的低层进行特征转换；并利用特征融合模块，将特征金字塔中所有尺度的特征融合，建立多尺度空间关联依赖关系，显著提高小目标、低分辨率图像识别效果。分辨率图像识别效果。分辨率图像识别效果。

【技术实现步骤摘要】
一种基于多尺度空间校正的行人属性识别方法


[0001]本专利技术涉及行人属性识别
，具体涉及一种基于多尺度空间校正的行人属性识别方法。

技术介绍

[0002]随着社会对安防领域的重视和安防领域的不断发展，安防和AI结合得日益紧密。其中，智能视频分析受到广泛的关注，视频图像是当今社会最广泛的信息载体，特别是在视频监控中，发挥着重要的信息采集和记录的作用。视频是典型的非结构化数据，需要智能化算法来辅助进行结构化分析。在视频监控中，人是安防工作的主体，在安防工作中实现对行人目标和其属性特征的有效识别，那将会极大提高安防工作的应对能力。
[0003]更具体来说，行人属性是一种关于人的可检索语义描述，可作为软生物特征应用在视频监控中。对于给定的人物图像，行人属性识别的目的是从预先定义的属性列表中预测一组描述该人物特征的属性。与方向梯度直方图、局部二值模式等低级特征不同，属性可以看作是高级语义信息，对视角变化和观察条件的变化具有更强的鲁棒性。因此，计算机视觉领域许多算法，如行人重识别、行人检测，都会集成行人的属性以提升算法的鲁棒性。
[0004]局部区域特征对于细粒度属性分类十分重要，但由于细粒度属性（例如鞋子、眼镜等）在图像中占比较小，识别比较困难。同时，高质量的监控摄像头价格昂贵，图像的分辨率通常很低，加之开放环境应用中存在人像遮挡、镜头模糊等问题，使得有效提取小区域的特征更加困难。因此在这种复杂场景低分辨率情况的图片下，有效提取小区域属性特征是一个关键问题。

技术实现思路

[0005]针对现有技术中的上述不足，本专利技术提供了一种基于多尺度空间校正的行人属性识别方法。
[0006]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于多尺度空间校正的行人属性识别方法，包括以下步骤：S1、获取行人图像数据，并进行预处理；S2、构建包含特征金字塔结构、空间校正模块和多尺度特征融合模块的行人属性识别网络模型，采用预处理后的行人图像数据进行模型训练；S3、利用训练后的行人属性识别网络模型对待识别行人图像中的行人属性进行识别。
[0007]该方案的技术效果是：本专利技术利用空间校正模块将特征金字塔中的相邻特征同时输入，利用小尺度的高层语义信息指导大尺度的低层进行特征转换；并利用特征融合模块，将特征金字塔中所有尺度的特征融合，建立多尺度空间关联依赖关系，显著提高小目标、低分辨率图像识别效果。
[0008]进一步地，所述步骤S1具体包括以下分步骤：
S11、采集视频监控图像，并利用行人目标检测算法进行目标裁剪，得到行人图像数据；S12、对行人图像数据进行人工标注；S13、对标注后的行人图像数据进行归一化、尺度放缩、填充、随机裁剪、水平翻转或垂直翻转以及图片格式张量转换的图像预处理。
[0009]该进一步方案的有益效果是：对训练进行有效扩充，有效避免深度卷积网络过拟合，从而实现更好的泛化性能。
[0010]进一步地，所述步骤S2采用预处理后的行人图像数据进行模型训练具体包括以下分步骤：S21、利用特征金字塔结构提取预处理后的行人图像数据的多尺度图像特征；S22、利用空间校正模块将特征金字塔结构中相邻的不同尺度特征进行初步融合和空间校准；S23、利用多尺度特征融合模块将经过空间校准后的多尺度图像特征进行多尺度特征融合；S24、将经过多尺度特征融合的不同尺度输出特征和主分支输出特征通过SE
‑
Net的通道注意力子网络进行分类预测。
[0011]该进一步方案的有益效果是：利用不同分辨率下特征进行卷积矫正和特征加强，从而提高深度网络对于小目标和低分辨率属性的特征提取能力。
[0012]进一步地，所述步骤S21具体包括以下分步骤：S211、构建主网络对预处理后的行人图像数据提取不同尺度的图像特征，i为尺度序号；S212、分别对各个尺度的图像特征经过卷积层进行通道转换，得到转换后的特征。
[0013]该进一步方案的有益效果是：提取不同尺度下特征，为下一步进行多尺度融合和特征增强提供多尺度输入基础。
[0014]进一步地，所述步骤S22具体包括以下分步骤：S221、选取相邻的两个不同尺度特征，将特征进行上采样后再将两个特征进行初步融合，得到融合特征，表示为其中，表示上采样操作，表示Sigmoid激活函数；S222、根据特征和融合特征进行特征变换，得到权重，表示为，表示为其中，表示卷积操作，表示逐元素乘运算；
S223、根据特征和权重进行特征聚合，得到权重，表示为其中，表示卷积操作，表示聚合函数；S224、对最小尺度特征进行降维处理。
[0015]该进一步方案的有益效果是：针对深度卷积网络中不同层的输出结果进行上下文关联和卷积特征矫正，从而实现相邻两层之间的不同分辨率的特征融合。
[0016]进一步地，所述步骤S23具体包括：利用Non
‑
local自注意力机制将经过空间校准后的多尺度图像特征进行多尺度特征融合，表示为其中，x表示输入特征图，表示响应因子，表示当前关注位置的信息，表示全局信息，表示输出位置，j表示特征图位置，表示计算特征图在和位置的相似度函数，表示计算特征图在位置的表示函数。
[0017]该进一步方案的有益效果是：利用非局部（Non
‑
local）注意力机制，建立多层特征间的关联能力，从而将多个分辨率结果进行了有效融合。
[0018]进一步地，所述步骤S24具体包括：将经过多尺度特征融合的不同尺度输出和主分支输出通过SE
‑
Net的通道注意力子网络的Squeeze操作对各个通道进行权重分配，得到全局描述特征；再通过SE
‑
Net的通道注意力子网络的Excitation操作抓取通道之间的关系，然后将学习到的各个通道的激活值乘以原始特征，再分别经过全连接层和批标准化，获得每个分支的输出；最后对各个尺度输出和主分支输出通过取最大值进行投票，从各个分支中选择针对某一属性的最精确的区域进行分类预测。
[0019]该进一步方案的有益效果是：利用SE
‑
NET的通道注意力机制，对不同属性敏感的通道进行选择，使不同属性能够获取到属于自身最优的特征通道，进一步提高识别率。
[0020]进一步地，所述模型训练还包括将所有的属性分别进行one
‑
hot编码，转换成多个二分类属性 ；采用加权的Sigmoid交叉熵损失函数，将五个分支的损失之和作为最终的损失。
[0021]该进一步方案的有益效果是：利用多分辨率输出建立多个独立的损失函数，从而让不同分辨率下的分类器能够学习到该分辨率下的识别结果。进一步地，所述加权的Sigmoid交叉熵损失函数表示为
其中，M表示总的属性数目，表示不同尺度输出和主分支输出，表示第m个属性的不同尺度输出和主分支输出，为第m个属性的真实标签值，为真实标签值，为第m个属性在损失函数中的权重，，表示第个属性取正值时在训练样本中出现的概率。
[0022]该进一步方案的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度空间校正的行人属性识别方法，其特征在于，包括以下步骤：S1、获取行人图像数据，并进行预处理；S2、构建包含特征金字塔结构、空间校正模块和多尺度特征融合模块的行人属性识别网络模型，采用预处理后的行人图像数据进行模型训练；S3、利用训练后的行人属性识别网络模型对待识别行人图像中的行人属性进行识别。2.根据权利要求1所述的基于多尺度空间校正的行人属性识别方法，其特征在于，所述步骤S1具体包括以下分步骤：S11、采集视频监控图像，并利用行人目标检测算法进行目标裁剪，得到行人图像数据；S12、对行人图像数据进行人工标注；S13、对标注后的行人图像数据进行归一化、尺度放缩、填充、随机裁剪、水平翻转或垂直翻转以及图片格式张量转换的图像预处理。3.根据权利要求1所述的基于多尺度空间校正的行人属性识别方法，其特征在于，所述步骤S2采用预处理后的行人图像数据进行模型训练具体包括以下分步骤：S21、利用特征金字塔结构提取预处理后的行人图像数据的多尺度图像特征；S22、利用空间校正模块将特征金字塔结构中相邻的不同尺度特征进行初步融合和空间校准；S23、利用多尺度特征融合模块将经过空间校准后的多尺度图像特征进行多尺度特征融合；S24、将经过多尺度特征融合的不同尺度输出特征和主分支输出特征通过SE
‑
Net的通道注意力子网络进行分类预测。4.根据权利要求3所述的基于多尺度空间校正的行人属性识别方法，其特征在于，所述步骤S21具体包括以下分步骤：S211、构建主网络对预处理后的行人图像数据提取不同尺度的图像特征，i为尺度序号；S212、分别对各个尺度的图像特征经过卷积层进行通道转换，得到转换后的特征。5.根据权利要求3所述的基于多尺度空间校正的行人属性识别方法，其特征在于，所述步骤S22具体包括以下分步骤：S221、选取相邻的两个不同尺度特征，将特征进行上采样后再将两个特征进行初步融合，得到融合特征，表示为其中，表示上采样操作，表示Sigmoid激活函数；S222、根据特征和融合特征进行特征变换，得到权重，表示为，表示为

【专利技术属性】
技术研发人员：尚天淇，彭德中，陈琳，
申请(专利权)人：四川大学，
类型：发明
国别省市：