一种基于掩膜对齐与注意力机制的行人再识别方法和装置制造方法及图纸

本申请公开了一种基于掩膜对齐与注意力机制的行人再识别方法和装置，通过对待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像，进而得到前景掩膜的两个点的坐标；将待识别行人图像和两个坐标输入到预置MAST‑ReIdCNN模型中进行特征提取，空域注意力模块和时域注意力模块对提取的特征进行特征筛选，筛选掉对识别贡献度低的特征以及杂乱的背景特征，保留贡献度高的特征，并添加时域和空域上的注意力机制，以提高识别准确率；将不同尺寸的特征图映射到同一特征空间，避免了行人未对齐而影响识别率的问题，解决了现有的行人再识别方法由于行人图像存在背景杂乱和行人未对齐等原因所导致的行人再识别的准确率不高的技术问题。

【技术实现步骤摘要】
一种基于掩膜对齐与注意力机制的行人再识别方法和装置
本申请涉及图像识别
，尤其涉及一种基于掩膜对齐与注意力机制的行人再识别方法和装置。
技术介绍
行人再识别是指识别出不相重叠摄像头下的行人是否为同一人，可视为图像检索的子问题。由于行人在不同时段出现在不同的摄像头下，会存在光照的变化、行人姿态的变化以及摄像头与行人之间视角的变化的问题，因此，摄像头拍摄的行人图像存在背景杂乱和行人未对齐等问题，使得行人再识别的准确率不高。
技术实现思路
本申请提供了一种基于掩膜对齐与注意力机制的行人再识别方法和装置，用于解决现有的行人再识别方法由于行人图像存在背景杂乱和行人未对齐等原因所导致的行人再识别的准确率不高的技术问题。有鉴于此，本申请第一方面提供了一种基于掩膜对齐与注意力机制的行人再识别方法，包括：对获取的待识别行人视频进行分帧处理，得到若干帧待识别行人图像；对所述待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像；基于所述第一二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，使得所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，时域注意力模块对第二池化层输出的特征向量进行特征筛选，裁剪层基于目标卷积层输出的特征图大小和输入的所述两个坐标对所述目标卷积层输出的特征图进行分割，输出所述前景掩膜的特征图，第三池化层对所述前景掩膜的特征图进行处理，输出所述前景掩膜的特征向量，融合层对所述前景掩膜的特征向量和时域注意力模块输出的特征向量进行特征融合，输出待识别行人特征；计算所述待识别行人特征与预置图库集中的匹配图像的行人特征的欧式距离，将最小的所述欧式距离对应的所述匹配图像作为行人再识别结果。优选地，所述将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，之前还包括：构建MAST-ReIdCNN模型，所述MAST-ReIdCNN模型包括5个所述卷积层、4个所述第一池化层、1个所述第二池化层、1个所述第三池化层、1个所述裁剪层、1个所述融合层、4个所述空域注意力模块、1个所述时域注意力模块和损失函数。优选地，所述损失函数包括交叉损失函数和三元组损失函数。优选地，所述构建MAST-ReIdCNN模型，之后还包括：对获取的训练集中的训练图像进行分割处理，得到包含前景掩膜的第二二值图像；基于所述第二二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；将所述训练图像和所述训练图像对应的两个坐标输入到所述MAST-ReIdCNN模型，对所述MAST-ReIdCNN模型进行训练；当所述MAST-ReIdCNN模型达到收敛条件时，得到训练好的所述MAST-ReIdCNN模型，将训练好的所述MAST-ReIdCNN模型作为所述预置MAST-ReIdCNN模型。优选地，所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，包括：所述预置MAST-ReIdCNN模型中的所述空域注意力模块中的1×1卷积层对所述第一池化层输出的特征图进行第一卷积操作，输出第一卷积特征图；所述空域注意力模块中的3×3卷积层对所述第一卷积特征图进行第二卷积操作，输出第二卷积特征图；所述空域注意力模块中的1×1卷积层对所述第二卷积特征图进行第三卷积操作，输出第三卷积特征图；所述空域注意力模块中的sigmoid函数对所述第三卷积特征图进行逐点计算，得到权重在0到1之间的权重图；所述空域注意力模块基于所述权重图对所述第一池化层输出的特征图进行特征筛选。优选地，所述时域注意力模块对第二池化层输出的特征向量进行特征筛选，包括：所述时域注意力模块的全连接层对所述第二池化层输出的特征向量进行处理，输出第一特征向量；所述时域注意力模块的sigmoid函数对所述第一特征向量进行逐点计算，得到权重在0到1之间的权重向量；所述时域注意力模块基于所述权重向量对所述第二池化层输出的特征向量进行特征筛选。优选地，所述对所述待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像，包括：基于分割网络对所述待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像。优选地，所述基于所述第一二值图像得到所述前景掩膜的左上角和右下角两个点的坐标，包括：基于积分映射函数对所述第一二值图像进行处理，得到所述前景掩膜的左上角和右下角两个点的坐标。本申请第二方面提供了一种基于掩膜对齐与注意力机制的行人再识别装置，包括：视频分帧模块，用于对获取的待识别行人视频进行分帧处理，得到若干帧待识别行人图像；第一分割模块，用于对所述待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像；第一坐标获取模块，用于基于所述第一二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；输入模块，用于将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，使得所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，时域注意力模块对第二池化层输出的特征向量进行特征筛选，裁剪层基于目标卷积层输出的特征图大小和输入的所述两个坐标对所述目标卷积层输出的特征图进行分割，输出所述前景掩膜的特征图，第三池化层对所述前景掩膜的特征图进行处理，输出所述前景掩膜的特征向量，融合层对所述前景掩膜的特征向量和时域注意力模块输出的特征向量进行特征融合，输出待识别行人特征；识别模块，用于计算所述待识别行人特征与预置图库集中的匹配图像的行人特征的欧式距离，将最小的所述欧式距离对应的所述匹配图像作为行人再识别结果。优选地，还包括：构建模块，用于构建MAST-ReIdCNN模型，所述MAST-ReIdCNN模型包括5个所述卷积层、4个所述第一池化层、1个所述第二池化层、1个所述第三池化层、1个所述裁剪层、1个所述融合层、4个所述空域注意力模块、1个所述时域注意力模块和损失函数；第二分割模块，对获取的训练集中的训练图像进行分割处理，得到包含前景掩膜的第二二值图像；第二坐标获取模块，用于基于所述第二二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；训练模块，用于将所述训练图像和所述训练图像对应的两个坐标输入到所述MAST-ReIdCNN模型，对所述MAST-ReIdCNN模型进行训练；收敛模块，用于当所述MAST-ReIdCNN模型达到收敛条件时，得到训练好的所述MAST-ReIdCNN模型，将训练好的所述MAST-ReIdCNN模型作为所述预置MAST-ReIdCNN模型。从以上技术方案可以看出，本申请具有以下优点：本申请提供了一种基于掩膜对齐与注意力机本文档来自技高网...

【技术保护点】
1.一种基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，包括：/n对获取的待识别行人视频进行分帧处理，得到若干帧待识别行人图像；/n对所述待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像；/n基于所述第一二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；/n将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，使得所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，时域注意力模块对第二池化层输出的特征向量进行特征筛选，裁剪层基于目标卷积层输出的特征图大小和输入的所述两个坐标对所述目标卷积层输出的特征图进行分割，输出所述前景掩膜的特征图，第三池化层对所述前景掩膜的特征图进行处理，输出所述前景掩膜的特征向量，融合层对所述前景掩膜的特征向量和时域注意力模块输出的特征向量进行特征融合，输出待识别行人特征；/n计算所述待识别行人特征与预置图库集中的匹配图像的行人特征的欧式距离，将最小的所述欧式距离对应的所述匹配图像作为行人再识别结果。/n

【技术特征摘要】
1.一种基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，包括：
对获取的待识别行人视频进行分帧处理，得到若干帧待识别行人图像；
对所述待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像；
基于所述第一二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；
将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，使得所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，时域注意力模块对第二池化层输出的特征向量进行特征筛选，裁剪层基于目标卷积层输出的特征图大小和输入的所述两个坐标对所述目标卷积层输出的特征图进行分割，输出所述前景掩膜的特征图，第三池化层对所述前景掩膜的特征图进行处理，输出所述前景掩膜的特征向量，融合层对所述前景掩膜的特征向量和时域注意力模块输出的特征向量进行特征融合，输出待识别行人特征；
计算所述待识别行人特征与预置图库集中的匹配图像的行人特征的欧式距离，将最小的所述欧式距离对应的所述匹配图像作为行人再识别结果。


2.根据权利要求1所述的基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，所述将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，之前还包括：
构建MAST-ReIdCNN模型，所述MAST-ReIdCNN模型包括5个所述卷积层、4个所述第一池化层、1个所述第二池化层、1个所述第三池化层、1个所述裁剪层、1个所述融合层、4个所述空域注意力模块、1个所述时域注意力模块和损失函数。


3.根据权利要求2所述的基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，所述损失函数包括交叉损失函数和三元组损失函数。


4.根据权利要求2所述的基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，所述构建MAST-ReIdCNN模型，之后还包括：
对获取的训练集中的训练图像进行分割处理，得到包含前景掩膜的第二二值图像；
基于所述第二二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；
将所述训练图像和所述训练图像对应的两个坐标输入到所述MAST-ReIdCNN模型，对所述MAST-ReIdCNN模型进行训练；
当所述MAST-ReIdCNN模型达到收敛条件时，得到训练好的所述MAST-ReIdCNN模型，将训练好的所述MAST-ReIdCNN模型作为所述预置MAST-ReIdCNN模型。


5.根据权利要求1所述的基于掩膜对齐与注意力机制的行人再识别方法，其特征在于，所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，包括：
所述预置MAST-ReIdCNN模型中的所述空域注意力模块中的1×1卷积层对所述第一池化层输出的特征图进行第一卷积操作，输出第一卷积特征图；
所述空域注意力模块中的3×3卷积层对所述第一卷积特征图进行第二卷积操作，输出第二卷积特征图；
所述空域注意力模块中的1×1卷积层对所述第二卷积特征图进行第三卷积操作，输出第三卷积特征图；
所述空域注意力模块中的sigmoid函数对所述第三卷积特征图进行逐点计算，得到权重在0到1之间的权重图；
所述空域注意力模块基于所述权重图对所述第一池化层输出的特征图进行特征筛选。

【专利技术属性】
技术研发人员：刘畅，邱卫根，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44