目标跟踪方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了目标跟踪方法、装置、电子设备及存储介质，涉及计算机视觉技术领域，该目标跟踪方法利用目标检测过程中提取的目标的特征信息，对下一视频帧中目标的位置进行预测；按照下一视频帧中目标的实际位置，确定预测位置与实际位置的重合度；计算当前视频帧与下一视频帧中两个目标的相似度；结合相似度与重合度计算关联度，在关联度大于关联阈值时，判定两个目标为同一目标。本发明专利技术实施例的目标跟踪方法，实现了视频数据中的目标跟踪，充分利用目标检测过程中提取的特征信息，第二神经网络与第三神经网络对目标检测过程中提取的特征信息进行相似度分析和位置预测分析，大大节约了计算量，从而实现了高效的目标跟踪。

Target tracking method, device, electronic equipment and storage medium

【技术实现步骤摘要】
目标跟踪方法、装置、电子设备及存储介质
本专利技术涉及计算机视觉
，特别是涉及目标跟踪方法、装置、电子设备及存储介质。
技术介绍
计算机视觉技术是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等，通过各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。现阶段，计算机视觉的主要目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。目标跟踪是指对视频中的指定目标进行跟踪，确定指定目标在各视频帧中的位置及在视频数据中的运行轨迹等。目标跟踪对目标的监控及分析具有重要意义，因此希望能够对视频数据中的指定目标进行目标跟踪。
技术实现思路
本专利技术实施例的目的在于提供一种目标跟踪方法、装置、电子设备及存储介质，以实现视频数据中的目标跟踪。具体技术方案如下：第一方面，本专利技术实施例提供了一种目标跟踪方法，所述方法包括：通过第一神经网络对第一视频帧及第二视频帧进行检测分析，得到所述第一视频帧的第一视频帧特征信息、所述第二视频帧的第二视频帧特征信息、所述第一视频帧中第一待检测目标的第一目标特征信息、所述第二视频帧中第二待检测目标的第二目标特征信息、所述第一待检测目标在所述第一视频帧中的第一位置信息及所述第二待检测目标在所述第二视频帧中的第二位置信息，其中，所述第一视频帧与所述二视频帧为待检测视频数据中相邻的两帧视频帧，且所述第二视频帧为所述第一视频帧的下一帧视频帧；通过第二神经网络对所述第一目标特征信息及所述第二目标特征信息进行相似度分析，确定所述第一待检测目标与所述第二待检测目标的相似度；通过第三神经网络对所述第一位置信息、所述第一视频帧特征信息及所述第二视频帧特征信息进行位置预测分析，得到所述第一待检测目标在所述第二视频帧中的预测位置信息；结合所述相似度、所述预测位置信息及所述第二位置信息，确定所述第一待检测目标与所述第二待检测目标的关联度；判断所述关联度与预设关联阈值的大小；若所述关联度大于所述关联阈值，判定所述第一待检测目标与所述第二待检测目标为同一目标，以实现目标跟踪。可选的，所述通过第二神经网络对所述第一目标特征信息及所述第二目标特征信息进行相似度分析，确定所述第一待检测目标与所述第二待检测目标的相似度，包括：通过第二神经网络，将所述第一目标特征信息及所述第二目标特征信息进行归一化，得到归一化后的第一目标特征信息及归一化后的第二目标特征信息，其中，所述归一化后的第一目标特征信息及所述归一化后的第二目标特征信息的维度相同；对所述归一化后的第一目标特征信息及所述归一化后的第二目标特征信息进行特征提取，得到第一特征矩阵和第二特征矩阵；计算所述第一特征矩阵和所述第二特征矩阵的相似度矩阵，作为所述第一待检测目标与所述第二待检测目标的相似度。可选的，所述通过第三神经网络对所述第一位置信息、所述第一视频帧特征信息及所述第二视频帧特征信息进行位置预测分析，得到所述第一待检测目标在所述第二视频帧中的预测位置信息，包括：对所述第一视频帧特征信息及所述第二视频帧特征信息进行特征融合，得到融合特征；通过第三神经网络，根据所述融合特征及所述第一位置信息，确定位置关系函数；根据所述位置关系函数，确定所述第一待检测目标在所述第二视频帧中的预测位置信息。可选的，所述结合所述相似度、所述预测位置信息及所述第二位置信息，确定所述第一待检测目标与所述第二待检测目标的关联度，包括：计算所述预测位置信息及所述第二位置信息的重合度；按照预设关联算法，根据所述相似度与所述重合度，计算所述第一待检测目标与所述第二待检测目标的关联度。第二方面，本专利技术实施例提供了一种目标跟踪装置，所述装置包括：指定目标检测模块，用于通过第一神经网络对第一视频帧及第二视频帧进行检测分析，得到所述第一视频帧的第一视频帧特征信息、所述第二视频帧的第二视频帧特征信息、所述第一视频帧中第一待检测目标的第一目标特征信息、所述第二视频帧中第二待检测目标的第二目标特征信息、所述第一待检测目标在所述第一视频帧中的第一位置信息及所述第二待检测目标在所述第二视频帧中的第二位置信息，其中，所述第一视频帧与所述二视频帧为待检测视频数据中相邻的两帧视频帧，且所述第二视频帧为所述第一视频帧的下一帧视频帧；相似度确定模块，用于通过第二神经网络对所述第一目标特征信息及所述第二目标特征信息进行相似度分析，确定所述第一待检测目标与所述第二待检测目标的相似度；位置预测模块，用于通过第三神经网络对所述第一位置信息、所述第一视频帧特征信息及所述第二视频帧特征信息进行位置预测分析，得到所述第一待检测目标在所述第二视频帧中的预测位置信息；关联度确定模块，用于结合所述相似度、所述预测位置信息及所述第二位置信息，确定所述第一待检测目标与所述第二待检测目标的关联度；阈值判断模块，用于判断所述关联度与预设关联阈值的大小；目标判定模块，用于若所述关联度大于所述关联阈值，判定所述第一待检测目标与所述第二待检测目标为同一目标，以实现目标跟踪。可选的，所述相似度确定模块，包括：归一化子模块，用于通过第二神经网络，将所述第一目标特征信息及所述第二目标特征信息进行归一化，得到归一化后的第一目标特征信息及归一化后的第二目标特征信息，其中，所述归一化后的第一目标特征信息及所述归一化后的第二目标特征信息的维度相同；特征矩阵确定子模块，用于对所述归一化后的第一目标特征信息及所述归一化后的第二目标特征信息进行特征提取，得到第一特征矩阵和第二特征矩阵；相似度矩阵计算子模块，用于计算所述第一特征矩阵和所述第二特征矩阵的相似度矩阵，作为所述第一待检测目标与所述第二待检测目标的相似度。可选的，所述位置预测模块，包括：特征融合子模块，用于对所述第一视频帧特征信息及所述第二视频帧特征信息进行特征融合，得到融合特征；函数确定子模块，用于通过第三神经网络，根据所述融合特征及所述第一位置信息，确定位置关系函数；位置计算子模块，用于根据所述位置关系函数，确定所述第一待检测目标在所述第二视频帧中的预测位置信息。可选的，所述关联度确定模块，包括：重合度计算子模块，用于计算所述预测位置信息及所述第二位置信息的重合度；关联度计算子模块，用于按照预设关联算法，根据所述相似度与所述重合度，计算所述第一待检测目标与所述第二待检测目标的关联度。第三方面，本专利技术实施例提供了一种电子设备，包括处理器及存储器；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的目标跟踪方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，所述方法包括：/n通过第一神经网络对第一视频帧及第二视频帧进行检测分析，得到所述第一视频帧的第一视频帧特征信息、所述第二视频帧的第二视频帧特征信息、所述第一视频帧中第一待检测目标的第一目标特征信息、所述第二视频帧中第二待检测目标的第二目标特征信息、所述第一待检测目标在所述第一视频帧中的第一位置信息及所述第二待检测目标在所述第二视频帧中的第二位置信息，其中，所述第一视频帧与所述二视频帧为待检测视频数据中相邻的两帧视频帧，且所述第二视频帧为所述第一视频帧的下一帧视频帧；/n通过第二神经网络对所述第一目标特征信息及所述第二目标特征信息进行相似度分析，确定所述第一待检测目标与所述第二待检测目标的相似度；/n通过第三神经网络对所述第一位置信息、所述第一视频帧特征信息及所述第二视频帧特征信息进行位置预测分析，得到所述第一待检测目标在所述第二视频帧中的预测位置信息；/n结合所述相似度、所述预测位置信息及所述第二位置信息，确定所述第一待检测目标与所述第二待检测目标的关联度；/n判断所述关联度与预设关联阈值的大小；/n若所述关联度大于所述关联阈值，判定所述第一待检测目标与所述第二待检测目标为同一目标，以实现目标跟踪。/n...

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，所述方法包括：
通过第一神经网络对第一视频帧及第二视频帧进行检测分析，得到所述第一视频帧的第一视频帧特征信息、所述第二视频帧的第二视频帧特征信息、所述第一视频帧中第一待检测目标的第一目标特征信息、所述第二视频帧中第二待检测目标的第二目标特征信息、所述第一待检测目标在所述第一视频帧中的第一位置信息及所述第二待检测目标在所述第二视频帧中的第二位置信息，其中，所述第一视频帧与所述二视频帧为待检测视频数据中相邻的两帧视频帧，且所述第二视频帧为所述第一视频帧的下一帧视频帧；
通过第二神经网络对所述第一目标特征信息及所述第二目标特征信息进行相似度分析，确定所述第一待检测目标与所述第二待检测目标的相似度；
通过第三神经网络对所述第一位置信息、所述第一视频帧特征信息及所述第二视频帧特征信息进行位置预测分析，得到所述第一待检测目标在所述第二视频帧中的预测位置信息；
结合所述相似度、所述预测位置信息及所述第二位置信息，确定所述第一待检测目标与所述第二待检测目标的关联度；
判断所述关联度与预设关联阈值的大小；
若所述关联度大于所述关联阈值，判定所述第一待检测目标与所述第二待检测目标为同一目标，以实现目标跟踪。


2.根据权利要求1所述的方法，其特征在于，所述通过第二神经网络对所述第一目标特征信息及所述第二目标特征信息进行相似度分析，确定所述第一待检测目标与所述第二待检测目标的相似度，包括：
通过第二神经网络，将所述第一目标特征信息及所述第二目标特征信息进行归一化，得到归一化后的第一目标特征信息及归一化后的第二目标特征信息，其中，所述归一化后的第一目标特征信息及所述归一化后的第二目标特征信息的维度相同；
对所述归一化后的第一目标特征信息及所述归一化后的第二目标特征信息进行特征提取，得到第一特征矩阵和第二特征矩阵；
计算所述第一特征矩阵和所述第二特征矩阵的相似度矩阵，作为所述第一待检测目标与所述第二待检测目标的相似度。


3.根据权利要求1所述的方法，其特征在于，所述通过第三神经网络对所述第一位置信息、所述第一视频帧特征信息及所述第二视频帧特征信息进行位置预测分析，得到所述第一待检测目标在所述第二视频帧中的预测位置信息，包括：
对所述第一视频帧特征信息及所述第二视频帧特征信息进行特征融合，得到融合特征；
通过第三神经网络，根据所述融合特征及所述第一位置信息，确定位置关系函数；
根据所述位置关系函数，确定所述第一待检测目标在所述第二视频帧中的预测位置信息。


4.根据权利要求1所述的方法，其特征在于，所述结合所述相似度、所述预测位置信息及所述第二位置信息，确定所述第一待检测目标与所述第二待检测目标的关联度，包括：
计算所述预测位置信息及所述第二位置信息的重合度；
按照预设关联算法，根据所述相似度与所述重合度，计算所述第一待检测目标与所述第二待检测目标的关联度。


5.一种目标跟踪装置，其特征在于，所述装置包括：
指定目标检测模块，用于通过第一神经网络对第一视频帧及第二视频帧进行检测分析，得到所述第一视频帧的...

【专利技术属性】
技术研发人员：卜英家，谭文明，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33