一种基于多部件自注意力机制的行人重识别方法技术

本发明专利技术提供了一种基于多部件自注意力机制的行人重识别方法，该方法首先预训练深度卷积神经网络骨干模型；然后对骨干模型进行分支后构建多部件自注意力网络，获得多部件自注意力特征；接着将多部件自注意力特征输入分类器，联合训练最小化交叉熵损失和度量损失；最后将测试集图片输入训练好的模型，融合输出的部件特征获得整体特征，经度量排序实现行人重识别。本发明专利技术通过充分考虑行人重识别问题中存在的各种挑战，提出了多部件自注意力机制，有效地扩展了注意力激活区域，丰富了行人特征；自注意力模块使网络更充分细致地关注具有判别特性的区域就，其中空间注意力模块和通道注意力模块以残差的形式融入网络，使得网络更加健壮稳定，容易训练。

A pedestrian recognition method based on multi component self attention mechanism

【技术实现步骤摘要】
一种基于多部件自注意力机制的行人重识别方法
本专利技术属于人工智能及计算机视觉
，尤其涉及一种基于多部件自注意力机制的行人重识别方法。
技术介绍
随着城市化进程的加快，公共安全已成为了人们日益关注的焦点和需求。大学校园、主题公园、医院、街道等许多重要的公共卫生区域都广泛覆盖了监控摄像头，为利用计算机视觉技术自动化监控创造了良好的客观条件。近年来，行人重识别作为视频监控领域的一个重要研究方向，日益受到人们的关注。具体来说，行人重识别是指在跨摄像头、跨场景下利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术。作为人脸识别技术的重要补充，该技术能够根据行人的穿着、体态、发型等信息认知行人，在实际监控场景下对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性，有助于节省大量的人力物力，具有重要的研究意义。在开放环境下，由于监控场景复杂多变，采集的行人图像往往存在背景噪音、光照变化、姿态改变、严重遮挡等干扰因素，而现有的识别模型不能很好地关注具有强判别性、高区分度的区域，导致提取的特征不够鲁棒，识别性能不佳。因此，目前亟待提出一种能够准确提取强判别性、高区分度特征的行人重识别方法。
技术实现思路
本专利技术的目的在于针对现有方法的不足，提出了一种基于多部件自注意力机制的行人重识别方法。该方法利用现有深度学习的优势，通过深度残差神经网络提取特征；构建了基于多部件自注意力机制的识别模型，分部件、多分支、高融合地提取行人特征，扩大了注意力激活范围，更广泛充分地关注具有判别性的区域；融合了空间自注意力和通道自注意力，在空间上，让模型更多地关注那些具有判别特性的关键区域，在通道上，让模型对含有相似语义信息的通道进行整合归纳，使得分类结果更具有区分性，同时，空间注意力模块和通道注意力模块以残差的形式融入网络，使得网络更加健壮稳定，容易训练。综上所述，本专利技术提升了跨摄像头下行人重识别的性能，具有良好的鲁棒性和普遍的适用性。本专利技术的目的是通过以下技术方案来实现的：一种基于多部件自注意力机制的行人重识别方法，包括以下步骤：S1：预训练深度卷积神经网络骨干模型；S2：对骨干模型进行分段：和，其中对应骨干模型最后一层残差网络，将深度拷贝2份，得到三条支路：，，，在支路后构建多部件自注意力网络，获得行人的多部件自注意力特征；S3：将多部件自注意力特征输入分类器，联合训练最小化交叉熵损失和度量损失；S4：将测试集图片输入训练好的模型，融合输出的部件特征获得整体特征，经度量排序实现行人重识别。进一步地，所述的步骤S1具体为：深度卷积神经网络骨干模型采用，并在数据集上进行预训练，使获得初始值。进一步地，所述的步骤S2包括以下子步骤：S2.1：令和,,对应的学习参数为和，的初始化参数一致；行人图像经过再分别经过,,后，对应提取到的特征图分为别，，，其中，C为特征图通道数，H为特征图的高，W为特征图的宽，计算公式为：其中，T表示矩阵转置函数；S2.2：在后建立分支：基于局部部件的自注意力网络；输入，输出特征集合，网络参数为；S2.3：在后建立分支：基于全局部件的自注意力网络；输入，输出特征向量，网络参数为；S2.4：在后建立分支：基于全局部件的特征映射网络；输入，输出特征向量，网络参数为；S2.5：，，共同组成多部件自注意力特征集合。进一步地，所述步骤S2.2中的包括以下子步骤：S2.2.1：对于，对其在高度上进行水平平均分割，形成特征图和；S2.2.2：对于输入，通过三条支路：特征映射模块，空间自注意力模块，通道自注意力模块；对应地，提取到的特征图分别为，，，包括以下子步骤：（a）对于输入，映射关系的计算方式为：（b）对于输入，空间自注意力模块具体为：对于任意的特征向量，在空间尺度上对其进行自注意力关系建模，得到关系矩阵；对于的每一个值，计算公式为：将关系矩阵作用于，并以残差的形式融入网络，得到更新后的特征图，计算公式为：其中，为模块的参数，表示矩阵相乘；（c）对于输入，通道自注意力模块具体为：对于任意的特征向量，在通道尺度上对其进行自注意力关系建模，得到关系矩阵；对于的每一个值，计算公式为：将关系矩阵作用于与，得到更新后的特征图，计算公式为：其中，为模块的参数，表示矩阵相乘；S2.2.3：把，，进行融合，得到输出特征图,计算方式为：S2.2.4：对于，操作方式与一致，得到经过的输出特征图，且与共享参数和；S2.2.5：对和进行全局平均池化，得到特征向量集合:其中，，；表示全局平均池化操作，计算公式为：其中，为特征图通道数，为特征图的宽，为特征图的高，为三维特征图的元素，；同理。进一步地，所述步骤S2.3中的具体为：对于输入，通过三条支路：特征映射模块，空间自注意力模块，通道自注意力模块，计算方式与的步骤S2.2.2~S2.2.3一致，但不用进行特征图水平分割。进一步地，所述步骤S2.4中的具体为：对于输入，对其进行全局平均池化，得到特征向量，计算公式为：其中，表示全局平均池化操作，计算公式为：其中，为特征图通道数，为特征图的宽，为特征图的高，为三维特征图的元素，。进一步地，所述步骤S2.5中的多部件自注意力特征集合。进一步地，所述的步骤S3包括以下子步骤：S3.1:对于输入的行人图像和对应的身份标签，为P的样本数量；经过所述步骤S2获得行人图像对应的多部件自注意力特征；S3.2：分类器表示一个全连接层，对于，其对应的多部件自注意力特征；令权值矩阵为，，为输入特征向量的维度，为输出维度，即行人身份标签个数；经过，输出的分类概率：S3.3：计算交叉熵损失，计算公式如下：S3.4：对于任意输入的行人样本，其身份标签为，取中离最近的负样本，和离最远的正样本；经过所述步骤S2获得多部件自注意力特征:S3.5：计算度量损失，计算方式为：对于，记：令，为边界值，则对于的度量损失的计算公式为：其中，为hinge函数；的度量损失的计算同理，得的计算公式为：S3.6：联合训练最小化交叉熵损失和度量损失，总损失为，为和的平衡参数。进一步地，所述的步骤S4包括以下子步骤：本文档来自技高网...

【技术保护点】
1.一种基于多部件自注意力机制的行人重识别方法，其特征在于，包括以下步骤：/nS1：预训练深度卷积神经网络骨干模型

【技术特征摘要】
1.一种基于多部件自注意力机制的行人重识别方法，其特征在于，包括以下步骤：
S1：预训练深度卷积神经网络骨干模型；
S2：对骨干模型进行分段：和，其中对应骨干模型最后一层
残差网络，将深度拷贝2份，得到三条支路：，，，在支
路后构建多部件自注意力网络，获得行人的多部件自注意力特征；
S3：将多部件自注意力特征输入分类器，联合训练最小化交叉熵损失和度量
损失；
S4：将测试集图片输入训练好的模型，融合输出的部件特征获得整体特征，经度量排
序实现行人重识别。


2.如权利要求1所述基于多部件自注意力机制的行人重识别方法，其特征在于，所述的
步骤S1具体为：深度卷积神经网络骨干模型采用，并在数据集上进行预
训练，使获得初始值。


3.如权利要求2所述基于多部件自注意力机制的行人重识别方法，其特征在于，所述的步骤S2包括以下子步骤：
S2.1：令和,,对应的学习参数为和，的初始化参数一致；行人图像
经过再分别经过,,后，对应提取到的特征图分别为，，，其中，C为特征图通道数，H为特征图的高，W为特
征图的宽，计算公式为：



其中，T表示矩阵转置函数；
S2.2：在后建立分支：基于局部部件的自注意力网络；输入，输出
特征集合，网络参数为；
S2.3：在后建立分支：基于全局部件的自注意力网络；输入，输出特
征向量，网络参数为；
S2.4：在后建立分支：基于全局部件的特征映射网络；输入，输
出特征向量，网络参数为；
S2.5：，，共同组成多部件自注意力特征集合。


4.如权利要求3所述基于多部件自注意力机制的行人重识别方法，其特征在于，所述步
骤S2.2中的包括以下子步骤：
S2.2.1：对于，对其在高度上进行水平平均分割，形成特征图和；
S2.2.2：对于输入，通过三条支路：特征映射模块，空间自注意
力模块，通道自注意力模块；对应地，提取到的特征图分别为，，，包括以下子步骤：
（a）对于输入，映射关系的计算方式为：



（b）对于输入，空间自注意力模块具体为：对于任意的特征向量，在空间尺度上对其进行自注意力关系建
模，得到关系矩阵；对于的每一个值，计算公式为：



将关系矩阵作用于，并以残差的形式融入网络，得到更新后的特征图，
计算公式为：



其中，为模块的参数，表示矩阵相乘；
（c）对于输入，通道自注意力模块具体为：对于任意的特征向量，在通道尺度上对其进行自注意力关系建模，得到关系矩
阵；对于的每一个值，计算公式为：



将关系矩阵作用于与，得到更新后的特征图，计算公式为：



其中，为模块的参数，表示矩阵相乘；
S2.2.3：把，，进行融合，得到输出特征图,计算
方式为：



S2.2.4：对于，操作方式与一致，得到经过的输出特征图，且与共享参数和；
S2.2.5：对和进行全局平均池化，得到特征向量集合:

【专利技术属性】
技术研发人员：陆易，叶喜勇，徐晓刚，张逸，张文广，祝敏航，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江;33