基于金丝猴躯干特征提取的身份重识别方法技术

本申请涉及一种基于金丝猴躯干局部特征提取的身份重识别方法，使用卷积神经网络进行全局特征提取，然后使用MMpose工具进行关键点检测，再利用得到的关键点坐标信息对全局特征进行定位切分，得到局部特征；相比较使用平均硬切分方式，利用骨架结构更能够表达金丝猴的身体结构信息，能够解决部位不对齐和姿势多样化的问题；利用得到的全局特征信息和局部特征信息构建时间和空间关系的超图结构，有效提高了视频金丝猴重识别的准确率。了视频金丝猴重识别的准确率。了视频金丝猴重识别的准确率。

【技术实现步骤摘要】
基于金丝猴躯干特征提取的身份重识别方法


[0001]本申请涉及目标识别
，具体地，涉及一种基于金丝猴躯干特征提取的身份重识别方法。

技术介绍

[0002]金丝猴是国家一级保护动物，对金丝猴进行个体识别和检测，不仅可以起到保护作用，还可以从中更好地了解它们的习性。目前针对金丝猴的观察研究除主要通过肉眼观察，但随着计算机视觉技术的广泛应用，深度学习技术也逐渐解决了计算机视觉中的问题，其中主要应用有面部识别技术，但面部识别技术对数据要求高，而且存在不同金丝猴面部特征相似性高识别等问题。另外深度学习在其他动物诸如斑马、老虎、企鹅和大象等的识别方面有所进展，但是需要依赖动物的辅助信息，比如体型描述、外形特点和标签等。通过重识别技术利用视频中的运动时序信息和空间信息进行身份识别，将金丝猴外观特征和步态时序特征结合达到对金丝猴识别的目的。
[0003]目前重识别方面研究主要针对行人，根据行人重识别进行分析，从数据形式划分主要有基于图像和基于视频两类，但基于图像识别任务中，图像所包含的信息较少，只能得到外观特征信息，无法根据时间变化提取到时序的特征信息，相比较而言基于视频的重识别更精确。目前的基于视频的重识别研究提取全局和局部特征再结合距离度量学习，局部特征的提取大多采用平均分割的方法，或是分割输入图片，或是分割全局特征，但都存在个体部位是否对齐，是否精准分割到具体部位的问题。

技术实现思路

[0004]为了克服现有技术中的至少一个不足，本申请实施例提供一种基于金丝猴躯干特征提取的身份重识别方法。/>[0005]第一方面，提供一种目标特征提取模型构建方法，包括：
[0006]对采集到的目标视频进行预处理，得到模型构建数据；目标视频中包含目标；
[0007]基于模型构建数据对目标特征提取模型进行训练，得到训练后的目标特征提取模型；目标特征提取模型包括特征提取模块和超图模块；
[0008]特征提取模块用于根据模型构建数据，提取目标的全局特征信息；还用于获取目标的关键点坐标信息，基于关键点坐标信息对全局特征进行切分，提取目标的局部特征信息；
[0009]超图模块用于基于全局特征信息和局部特征信息，得到目标的视频级别特征。
[0010]在一个实施例中，特征提取模块包括卷积神经网络模块和关键点坐标信息提取模块，卷积神经网络模块用于提取目标的全局特征信息，关键点坐标信息提取模块用于采用MMpose工具提取目标的关键点坐标信息。
[0011]在一个实施例中，基于全局特征信息和局部特征信息，得到目标的视频级别特征，包括：
[0012]将全局特征信息作为节点，将邻近的两个节点之间用超边连接，构建全局超图；
[0013]将局部特征信息作为节点，将邻近的两个节点之间用超边连接，构建局部超图；
[0014]提取全局超图和局部超图的图特征；
[0015]将全局超图的图特征和局部超图的图特征进行聚合，得到目标的视频级别特征。
[0016]在一个实施例中，提取全局超图和局部超图的图特征，包括：
[0017]针对全局超图或者局部超图的任意一个节点，确定节点的每个超边的超边初始特征；
[0018]根据节点的节点特征和每个超边的超边初始特征，确定每个超边的重要程度；
[0019]根据每个超边的重要程度和超边初始特征，得到节点对应的所有超边的最终特征；
[0020]将节点对应的所有超边的最终特征与节点的节点特征采用全连接层连接，得到节点的最终特征；
[0021]根据每个节点的重要程度和每个节点的最终特征，得到全局超图的图特征或者局部超图的图特征。
[0022]在一个实施例中，对采集到的目标视频进行预处理，得到模型构建数据，包括：
[0023]针对目标视频采用YOLOv3目标检测网络进行目标检测，得到多个包含目标的视频帧；
[0024]对多个包含目标的视频帧进行数据增广处理，得到模型构建数据。
[0025]在一个实施例中，基于模型构建数据对目标特征提取模型进行训练，包括：
[0026]通过分类损失函数和三元组损失函数对目标特征提取模型进行训练。
[0027]第二方面，提供一种基于金丝猴躯干局部特征提取的身份重识别方法，包括：
[0028]对待识别目标视频和候选视频分别进行预处理，得到多个待识别目标视频帧和多个候选视频帧；待识别目标视频和候选视频中均包含待识别目标；
[0029]将多个待识别目标视频帧和多个候选视频帧均输入到目标特征提取模型中，分别输出多个待识别目标视频帧的视频级别特征和多个候选视频帧的视频级别特征；
[0030]根据多个待识别目标视频帧的视频级别特征和多个候选视频帧的视频级别特征对待识别目标进行身份重识别；
[0031]目标特征提取模型为根据上述的目标特征提取模型构建方法得到的。
[0032]在一个实施例中，根据多个待识别目标视频帧的视频级别特征和多个候选视频帧的视频级别特征对待识别目标进行身份重识别，包括：
[0033]计算每个待识别目标视频帧的视频级别特征与每个候选视频帧的视频级别特征之间的相似度，构成相似度矩阵；
[0034]根据相似度矩阵对待识别目标进行身份重识别。
[0035]第三方面，提供一种目标特征提取模型构建装置，包括：
[0036]第一视频预处理单元，用于对采集到的目标视频进行预处理，得到模型构建数据；目标视频中包含目标；
[0037]模型训练单元，用于基于模型构建数据对目标特征提取模型进行训练，得到训练后的目标特征提取模型；目标特征提取模型包括特征提取模块和超图模块；
[0038]特征提取模块用于根据模型构建数据，提取目标的全局特征信息；并获取目标的
关键点坐标信息，基于关键点坐标信息对全局特征进行切分，提取目标的局部特征信息；
[0039]超图模块用于基于全局特征信息和局部特征信息，得到目标的视频级别特征。
[0040]第四方面，提供一种基于金丝猴躯干局部特征提取的身份重识别装置，包括：
[0041]第二视频预处理单元，用于对待识别目标视频和候选视频分别进行预处理，得到多个待识别目标视频帧和多个候选视频帧；待识别目标视频和候选视频中均包含待识别目标；
[0042]特征提取单元，用于将多个待识别目标视频帧和多个候选视频帧均输入到目标特征提取模型中，分别输出多个待识别目标视频帧的视频级别特征和多个候选视频帧的视频级别特征；
[0043]身份重识别单元，用于根据多个待识别目标视频帧的视频级别特征和多个候选视频帧的视频级别特征对待识别目标进行身份重识别；
[0044]目标特征提取模型为根据上述的目标特征提取模型构建方法得到的。
[0045]相对于现有技术而言，本申请具有以下有益效果：
[0046](1)本申请使用卷积神经网络进行全局特征提取，局部特征使用部位分割的方式进行提取，首先使用MMpose工具进行关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标特征提取模型构建方法，其特征在于，包括：对采集到的目标视频进行预处理，得到模型构建数据；所述目标视频中包含目标；基于所述模型构建数据对目标特征提取模型进行训练，得到训练后的目标特征提取模型；所述目标特征提取模型包括特征提取模块和超图模块；所述特征提取模块用于根据所述模型构建数据，提取所述目标的全局特征信息；还用于获取所述目标的关键点坐标信息，基于所述关键点坐标信息对所述全局特征进行切分，提取所述目标的局部特征信息；所述超图模块用于基于所述全局特征信息和所述局部特征信息，得到所述目标的视频级别特征。2.如权利要求1所述的方法，其特征在于，所述特征提取模块包括卷积神经网络模块和关键点坐标信息提取模块，所述卷积神经网络模块用于提取所述目标的全局特征信息，所述关键点坐标信息提取模块用于采用MMpose工具提取目标的关键点坐标信息。3.如权利要求1所述的方法，其特征在于，所述基于所述全局特征信息和所述局部特征信息，得到所述目标的视频级别特征，包括：将所述全局特征信息作为节点，将邻近的两个节点之间用超边连接，构建全局超图；将所述局部特征信息作为节点，将邻近的两个节点之间用超边连接，构建局部超图；提取所述全局超图和所述局部超图的图特征；将所述全局超图的图特征和所述局部超图的图特征进行聚合，得到所述目标的视频级别特征。4.如权利要求3所述的方法，其特征在于，所述提取所述全局超图和所述局部超图的图特征，包括：针对所述全局超图或者所述局部超图的任意一个节点，确定节点的每个超边的超边初始特征；根据节点的节点特征和所述每个超边的超边初始特征，确定每个超边的重要程度；根据所述每个超边的重要程度和所述超边初始特征，得到节点对应的所有超边的最终特征；将所述节点对应的所有超边的最终特征与节点的节点特征采用全连接层连接，得到节点的最终特征；根据每个节点的重要程度和每个节点的最终特征，得到全局超图的图特征或者局部超图的图特征。5.如权利要求1所述的方法，其特征在于，所述对采集到的目标视频进行预处理，得到模型构建数据，包括：针对所述目标视频采用YOLOv3目标检测网络进行目标检测，得到多个包含目标的视频帧；对所述多个包含目标的视频帧进行数据增广处理，得到模型构建数据。6.如权利要求1所述的方法，其特征在于，所述基于所述模型构建数据对目标特征提取模型进行训练，包括：通过分类损失函数和三元组损失函数对目标特征提取模型进行训练。7.一种基于金丝猴躯干局部特征提取...

【专利技术属性】
技术研发人员：王安文，卫毅，尹爽，杨璐瑶，张媛媛，张添祥，郭竞，许鹏飞，郭松涛，
申请(专利权)人：西北大学，
类型：发明
国别省市：