一种通过部件对齐池化进行行人重识别的方法技术

本发明专利技术涉及行人重识别技术领域，尤其是一种通过部件对齐池化进行行人重识别的方法；同时进行：构建基于异构部件的深度神经网络；为行人图像提取卷积激活图形成张量；利用水平平均池化对张量进行平均分割得到K个部分，并对每个部分的元素在水平方向求平均得到K个基于部分的特征向量；获得某一批次硬三元组损失和K个交叉熵损失；利用两个损失的和更新深度神经网络的网络参数；提取待查询图像的K个基于部分的特征向量，将其串联成一个特征向量作为特征表示向量；根据特征表示向量之间的距离得到所述待查询图像的匹配结果和人脸识别；通过现有的部件对齐池化技术对图像进行分割，提高图像处理中部件特征的识别能力。

【技术实现步骤摘要】
一种通过部件对齐池化进行行人重识别的方法
本专利技术涉及行人重识别
，尤其是一种通过部件对齐池化进行行人重识别的方法。
技术介绍
目前，深度神经网络在行人再识别领域占据主导地位，对于提高行人再识别的准确率至关重要。许多深度神经网络用于提取行人图像基于部分的特征，Varior等人提出了一种新的长短记忆网络(LSTM)，用于对行人图像的部分进行有序处理，同时利用上下文信息增强基于部分特征的判别能力；Yao等人提出了局部损失网络(PL-Net)通过同时最小化部分的损失和全局分类损失来学习不同部分的判别性表示；Yi等人将每个行人图像分割成三个重叠部分，同时训练三个网络以学习基于部分的特征。然而，这些方法没有考虑行人图像部分之间的对齐。
技术实现思路
针对现有技术的不足，本专利技术提供一种人体局部部件之间进行对齐池化，提高对学习判别能力的行人重识别方法。本专利技术的技术方案为：一种通过部件对齐池化进行行人重识别的方法，其特征在于：S1，采集人脸图片信息通过网络结构提取特征形成n*1维向量，根据训练数据标签训练出权重数据，通过测试数据判断准确率输出人脸识别模型；S2，构建基于异构部件的深度神经网络；S3，利用所述基于异构部件的深度神经网络，为每一幅行人图像提取卷积激活图并形成一个张量；S4，利用水平平均池化对每个张量进行平均分割得到K个部分，并且对每个部分的元素在水平方向求平均得到K个基于部分的特征向量，即可将每幅行人图像表示为K个基于部分的特征向量；r>S5，其中头部图片导入人脸识别模型中；S6，对于某一批次行人图像中的两幅图像，利用对准距离对其K个基于部分的特征向量进行对齐，并结合批次硬三元组损失和对准距离学习所述基于部分的特征向量的对齐，进而得到该批次硬三元组损失；S7，对于某一批次行人图像中的每一幅，为行人图像的每一部分应用交叉熵损失学习基于部分特征向量的判别性，得到该批次K个交叉熵损失；S8，利用所述步骤S4得到的硬三元组损失和所述步骤S5得到的K个交叉熵损失的和更新所述深度神经网络的网络参数，得到训练完成的深度神经网络；S9，利用训练得到的深度神经网络提取待查询图像的K个基于部分的特征向量，并将其串联成一个特征向量作为每一幅待查询图像最终的特征表示向量；S10，通过计算待查询图像和图像库中图像的特征表示向量之间的距离得到所述待查询图像的匹配结果，并将该结果与人脸识别模型中得到的匹配结果进行对比，对比相同则输出，对比不同则返回步骤s9。进一步地，所述人脸识别模型的构建流程为：Inputimage→detect→transform→crop→representation。其中Inputimage中，输入为将原始的可能含有人脸的图形，输出为人脸位置的boundingbox。这是是一个简单的人脸检测，可以利用现有的openCV方法实现。其中detect→transform→crop中，输入为人脸位置boundingbox，输出为校准过的只含有人脸的图像，其中校正过程为：检测人脸中的关键点，根据这些关键点对人脸部件的对齐。其好处是将人脸统一摆正，尽量消除姿势不同带来的误差。其中crop→representation中，输入为校准后的单张人脸图像，输出为向量，其实现过程：步骤1：生成图像数据集；步骤1.1爬取人脸图像通过python代码从网页上下载含有人脸的视频，截取图片帧；将人脸图像和图片帧整合生成数据集。步骤1.2数据增强对步骤1.1中整合生成的数据集进行数据增强。所述的数据增强包括旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换。数据增强增加数据集内图像个数，提高神经网络识别能力和泛化能力，从而提高训练精度。步骤1.3特征标记对增强后的数据集中的图像中的人脸用矩形框进行特征标记，得到矩形框的坐标信息(x，y，w，h)，(x，y)为矩形框的中心坐标，(w，h)为矩形框的宽和高，将带有矩形框坐标信息的图像生成新的数据集A，该数据集A将用于改进VGG16卷积网络训练。步骤2：获取最优权重模型；将数据集A中标记图像分为训练集Q1、验证集Q2和测试集Q3。可选地，所述步骤S3包括以下步骤：将每一幅行人图像的大小调整到预设大小；随机选择N幅行人图像作为一个批次输入到基于异构部件的深度神经网络中；利用所述深度神经网络最后的卷积层为每一幅输入的行人图像提取卷积激活图并形成一个张量。本专利技术的有益效果为：通过现有的部件对齐池化技术对图像进行分割，提高图像处理中部件特征的识别能力；并且通过人脸识别技术进行追踪，保证最终输出是正确可靠的。附图说明图1为本专利技术的原理示意图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明：如图1所示，一种通过部件对齐池化进行行人重识别的方法，其特征在于：S1，采集人脸图片信息通过网络结构提取特征形成n*1维向量，根据训练数据标签训练出权重数据，通过测试数据判断准确率输出人脸识别模型；S2，构建基于异构部件的深度神经网络；S3，利用所述基于异构部件的深度神经网络，为每一幅行人图像提取卷积激活图并形成一个张量；S4，利用水平平均池化对每个张量进行平均分割得到K个部分，并且对每个部分的元素在水平方向求平均得到K个基于部分的特征向量，即可将每幅行人图像表示为K个基于部分的特征向量；S5，其中头部图片导入人脸识别模型中；S6，对于某一批次行人图像中的两幅图像，利用对准距离对其K个基于部分的特征向量进行对齐，并结合批次硬三元组损失和对准距离学习所述基于部分的特征向量的对齐，进而得到该批次硬三元组损失；S7，对于某一批次行人图像中的每一幅，为行人图像的每一部分应用交叉熵损失学习基于部分特征向量的判别性，得到该批次K个交叉熵损失；S8，利用所述步骤S4得到的硬三元组损失和所述步骤S5得到的K个交叉熵损失的和更新所述深度神经网络的网络参数，得到训练完成的深度神经网络；S9，利用训练得到的深度神经网络提取待查询图像的K个基于部分的特征向量，并将其串联成一个特征向量作为每一幅待查询图像最终的特征表示向量；S10，通过计算待查询图像和图像库中图像的特征表示向量之间的距离得到所述待查询图像的匹配结果，并将该结果与人脸识别模型中得到的匹配结果进行对比，对比相同则输出，对比不同则返回步骤s9。进一步地，所述人脸识别模型的构建流程为：Inputimage→detect→transform→crop→representation。其中Inputimage中，输入为将原始的可能含有人脸的图形，输出为人脸位置的boundingbox。这是是一个简单的人脸检测，可以利用现有的openCV方法实现。其中detect本文档来自技高网...

【技术保护点】
1.一种通过部件对齐池化进行行人重识别的方法，其特征在于：/nS1，采集人脸图片信息通过网络结构提取特征形成n*1维向量，根据训练数据标签训练出权重数据，通过测试数据判断准确率输出人脸识别模型；/nS2，构建基于异构部件的深度神经网络；/nS3，利用所述基于异构部件的深度神经网络，为每一幅行人图像提取卷积激活图并形成一个张量；/nS4，利用水平平均池化对每个张量进行平均分割得到K个部分，并且对每个部分的元素在水平方向求平均得到K个基于部分的特征向量，即可将每幅行人图像表示为K个基于部分的特征向量；/nS5，其中头部图片导入人脸识别模型中；/nS6，对于某一批次行人图像中的两幅图像，利用对准距离对其K个基于部分的特征向量进行对齐，并结合批次硬三元组损失和对准距离学习所述基于部分的特征向量的对齐，进而得到该批次硬三元组损失；/nS7，对于某一批次行人图像中的每一幅，为行人图像的每一部分应用交叉熵损失学习基于部分特征向量的判别性，得到该批次K个交叉熵损失；/nS8，利用所述步骤S4得到的硬三元组损失和所述步骤S5得到的K个交叉熵损失的和更新所述深度神经网络的网络参数，得到训练完成的深度神经网络；/nS9，利用训练得到的深度神经网络提取待查询图像的K个基于部分的特征向量，并将其串联成一个特征向量作为每一幅待查询图像最终的特征表示向量；/nS10，通过计算待查询图像和图像库中图像的特征表示向量之间的距离得到所述待查询图像的匹配结果，并将该结果与人脸识别模型中得到的匹配结果进行对比，对比相同则输出，对比不同则返回步骤s9。/n...

【技术特征摘要】
1.一种通过部件对齐池化进行行人重识别的方法，其特征在于：
S1，采集人脸图片信息通过网络结构提取特征形成n*1维向量，根据训练数据标签训练出权重数据，通过测试数据判断准确率输出人脸识别模型；
S2，构建基于异构部件的深度神经网络；
S3，利用所述基于异构部件的深度神经网络，为每一幅行人图像提取卷积激活图并形成一个张量；
S4，利用水平平均池化对每个张量进行平均分割得到K个部分，并且对每个部分的元素在水平方向求平均得到K个基于部分的特征向量，即可将每幅行人图像表示为K个基于部分的特征向量；
S5，其中头部图片导入人脸识别模型中；
S6，对于某一批次行人图像中的两幅图像，利用对准距离对其K个基于部分的特征向量进行对齐，并结合批次硬三元组损失和对准距离学习所述基于部分的特征向量的对齐，进而得到该批次硬三元组损失；
S7，对于某一批次行人图像中的每一幅，为行人图像的每一部分应用交叉熵损失学习基于部分特征向量的判别性，得到该批次K个交叉熵损失；
S8，利用所述步骤S4得到的硬三元组损失和所述步骤S5得到的K个交叉熵损失的和更新所述深度神经网络的网络参数，得到训练完成的深度神经网络；
S9，利用训练得到的深度神经网络提取待查询图像的K个基于部分的特征向量，并将其串联成一个特征向量作为每一幅待查询图像最终的特征表示向量；
S10，通过计算待查询图像和图像库中图像的特征表示向量之间的距离得到所述待查询图像的匹配结果，并将该结果与人脸识别模型中得到的匹配结果进行对比，对比相同则输出，对比不同则返回步骤s9。


2.根据权利要求1所述的一种通过部件对齐池化进行行人重识别的方法，其特征在于：所述人脸识别模型的构建流程为：
Inputimage→detect→transform→crop→representation。


3.根据权利要求2所述的一种通过部件对齐池化进行行人重识别的方法，其特征在于：其中Inputimage中，输...

【专利技术属性】
技术研发人员：常伟，余捷全，
申请(专利权)人：广东毓秀科技有限公司，
类型：发明
国别省市：广东;44