【技术实现步骤摘要】
基于关键点优化和多跳注意图卷积行人重识别方法及系统
[0001]本专利技术属于图像识别
，尤其涉及基于关键点优化和多跳注意图卷积行人重识别方法及系统。
技术介绍
[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]行人重识别的目标是在多个不相关的摄像头中找到指定的人。大多数现有的方法都是采用深度学习的方法，通过训练神经网络来获得人的外观特征，这些方法可能会在几个特定的数据集上取得很好的结果，但是在实际情况下由于摄像机所拍摄获得的图像可能不能构建理想的数据集。具体来说，由于外部环境因素的影响，行人可能处于各种障碍物的阴影下，很难获得完整的行人图像。
[0004]近年来，一些基于局部特征的方法被提出来处理这类被遮挡的行人图像。然而，这些方法由于需要严格的特征对齐，因此这类方法在遮挡数据集上不能取得很好的效果。因为被遮挡的图像含有的判别信息较少，从而导致图像匹配难度较大。而这种对遮挡图片的重识别问题，被称为遮挡的的行人重识别问题。对于被遮挡的待检测图像，有方法...
【技术保护点】
【技术特征摘要】
1.基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，包括：提取图像中的关键点，获取每个关键点相应的置信度等级，基于图像中行人被遮挡时，相应关键点的置信度低，将置信度等级低的关键点利用其他关键点的相应特征来近似估计受遮挡关键点的特征信息；针对处理后的关键点的特征信息，利用增加了多跳注意力机制的特征学习网络进行学习，考虑了网络中每一层的有效信息，将注意力矩阵与特征信息相结合，得到特征学习的输出；对于输出的特征，特征匹配网络通过图匹配算法和人体拓扑特征对比两幅图像中的节点关系，输出预测的分类结果。2.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，构建由卷积神经网络和人体关键点提取网络组成的特征提取网络，之后添加用于人体关键点优化的优化网络，二者联合构成特征提取与优化网络，特征提取与优化网络用于从被遮挡的图片中得到优化后的特征信息。3.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，还包括网络训练步骤，将训练集图像，经过特征提取与优化网络、特征学习网络、特征匹配网络处理得到预测的分类结果，传入到损失函数里，计算每部分损失并使用反向传播算法对每一部分进行参数更新直至网络收敛，最后传入测试集图像，利用训练好的网络得到较为精确地分类结果，对遮挡行人重识别。4.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，所述特征提取与优化网络对图像的处理过程为：原始图片与网络输出的特征向量的结合，输出为特征向量、分类得分和每个关键点的置信度，然后添加交叉熵损失层和三元组损失层用于对于网络进行约束，其中交叉熵损失的输入为分类得分和关键点的置信度三元组损失层的输入则特征向量与原始图片的标签。5.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，所述特征学习网络中每一层使用特征和邻接矩阵来提取相邻节点不同跳中节点层次的局部子结构特征，网络采用残差结构，将注意力卷积层叠加并构建一个注意力图卷积模块，每一卷积层都是前一层的输出和初始输入之和，采用一个稠密图来处理每一个卷积层的输出组合，最后将原始图卷积的最大/平均池化层更改为自注意力池化层，利用交叉熵损失层和三元组损失层对网络进行约束。6.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，所述特征提取优化网络用于提取每个图像信息的特征，关键点信息通过关键点提取网络提取，特征由特征提取网络获得；输入的图像经过关键点提取网络后得到图像H
kp
的热图，热图中包含关键点信息，包括关键点的置信度H
lo
和关键点位置H
co
；特征提取网络输出关键点对应的特征向量及全局特征。作为优选的技术方案，得到关键点在图像中的位置H
lo
...
【专利技术属性】
技术研发人员：张化祥，高文博，刘丽，朱磊，孙建德，金圣开，于治楼，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。