目标跟踪方法、装置和计算机可读存储介质制造方法及图纸

技术编号:24095938 阅读:28 留言:0更新日期:2020-05-09 10:21
本发明专利技术公开了一种目标跟踪方法和装置,属于电子技术领域。该方法包括:通过目标识别模型确定视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别和图像特征,目标识别模型是使用目标检测数据集和检索数据集对神经网络模型进行训练得到,每个目标检测数据标记有检测框位置及对应的目标类别,每个检索数据标记有目标标识;根据视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别和图像特征,对视频中包含的目标进行跟踪。本发明专利技术中目标识别模型可以定位目标并同时提取出目标的图像特征,在不增加额外的时间消耗和资源消耗的情况下,能够直接提供目标的图像特征用于目标跟踪的评价参考,可以提高目标跟踪的实时性和准确性。

Target tracking method, device and computer readable storage medium

【技术实现步骤摘要】
目标跟踪方法、装置和计算机可读存储介质
本专利技术涉及电子
,特别涉及一种目标跟踪方法、装置和计算机可读存储介质。
技术介绍
随着电子技术的发展,对图像内容进行识别与理解已经成为研究的热点。目标跟踪作为识别与理解图像内容的一个重要方面,在安防监控、智能交通、自动驾驶等领域有着广泛的应用。目标跟踪是指在视频中持续不断地自动识别和定位目标,以记录目标的运动轨迹。目前,在视频中进行目标跟踪时,先用目标检测模型检测出视频的每帧视频图像中的检测框位置及其对应的目标类别,再使用预设的跟踪算法对每帧视频图像中的检测框内的图像进行识别,得到检测框内的目标的跟踪特征,然后根据每帧视频图像中包含的目标的跟踪特征、每帧视频图像中的检测框位置及其对应的目标类别,对该视频中包含的目标进行跟踪。然而,上述目标跟踪过程中,需要先使用目标检测模型对视频图像进行检测,再使用预设的跟踪算法对视频图像进行跟踪,整体过程复杂,目标跟踪的实时性较低。并且,由于只是使用目标的跟踪特征来对目标进行跟踪,所以目标跟踪的准确性较低。专利
技术实现思路
本专本文档来自技高网
...

【技术保护点】
1.一种目标跟踪方法,其特征在于,所述方法包括:/n获取需要进行目标跟踪的视频;/n通过目标识别模型,确定所述视频的每帧视频图像中的检测框的位置,以及确定每个检测框内的目标的类别和图像特征,所述目标识别模型是使用目标检测数据集和检索数据集对神经网络模型进行训练得到,所述目标检测数据集中的每个目标检测数据标记有检测框位置及对应的目标类别,所述检索数据集中的每个检索数据标记有目标标识;/n根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别和图像特征,对所述视频中包含的目标进行跟踪。/n

【技术特征摘要】
1.一种目标跟踪方法,其特征在于,所述方法包括:
获取需要进行目标跟踪的视频;
通过目标识别模型,确定所述视频的每帧视频图像中的检测框的位置,以及确定每个检测框内的目标的类别和图像特征,所述目标识别模型是使用目标检测数据集和检索数据集对神经网络模型进行训练得到,所述目标检测数据集中的每个目标检测数据标记有检测框位置及对应的目标类别,所述检索数据集中的每个检索数据标记有目标标识;
根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别和图像特征,对所述视频中包含的目标进行跟踪。


2.如权利要求1所述的方法,其特征在于,
所述目标识别模型是交替使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到;或者,
所述目标识别模型是同时使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到。


3.如权利要求2所述的方法,其特征在于,
当所述目标识别模型是交替使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据第一神经网络模型中的参数的梯度值,对所述第一神经网络模型中的参数进行更新后得到,所述第一神经网络模型中的参数的梯度值是根据所述检索数据集确定得到,所述第一神经网络模型是根据所述神经网络模型中的参数的梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的梯度值是根据所述目标检测数据集确定得到;或者,
当所述目标识别模型是交替使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据第二神经网络模型中的参数的梯度值,对所述第二神经网络模型中的参数进行更新后得到,所述第二神经网络模型中的参数的梯度值是根据所述目标检测数据集确定得到,所述第二神经网络模型是根据所述神经网络模型中的参数的梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的梯度值是根据所述检索数据集确定得到。


4.如权利要求2所述的方法,其特征在于,
当所述目标识别模型是同时使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据所述神经网络模型中的参数的平均梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的平均梯度值是对所述神经网络模型中的参数的第一梯度值和第二梯度值进行平均后得到,所述神经网络模型中的参数的第一梯度值是根据所述目标检测数据集确定得到,所述神经网络模型中的参数的第二梯度值是根据所述检索数据集确定得到。


5.如权利要求1-4任一所述的方法,其特征在于,所述获取需要进行目标跟踪的视频之后,还包括:
获取所述视频的每帧视频图像中每个检测框内的目标的跟踪特征;
相应地,所述根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别和图像特征,对所述视频中包含的目标进行跟踪,包括:
根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征和跟踪特征,对所述视频中包含的目标进行跟踪。


6.如权利要求5所述的方法,其特征在于,所述根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征和跟踪特征,对所述视频中包含的目标进行跟踪,包括:
根据所述视频的前n帧视频图像中每帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征和跟踪特征,确定跟踪目标集和所述跟踪目标集中每个跟踪目标的跟踪片段和跟踪信息,所述n为大于或等于2的整数;
令i=n,根据所述视频的第i+1帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征、跟踪特征和所述跟踪目标集中每个跟踪目标的跟踪信息,将所述第i+1帧视频图像中包含的目标与所述跟踪目标集中的每个跟踪目标进行匹配;
如果所述第i+1帧视频图像中包含的指定目标与所述跟踪目标集中的指定跟踪目标匹配成功,则将所述第i+1帧视频图像添加到所述指定跟踪目标的跟踪片段中,并根据所述指定目标所在的检测框的位置、所述指定目标的类别、图像特征和跟踪特征,更新所述指定跟踪目标的跟踪信息,所述指定目标为所述第i+1帧视频图像中包含的任意一个目标,所述指定跟踪目标为所述跟踪目标集中的任意一个跟踪目标;
如果所述第i+1帧视频图像中包含的指定目标与所述跟踪目标集中所有的跟踪目标均未匹配成功,则将所述指定目标添加到所述跟踪目标集中;将所述第i+1帧视频图像确定为所述指定目标的跟踪片段,并根据所述指定目标所在的检测框的位置、所述指定目标的类别、图像特征和跟踪特征,生成所述指定目标的跟踪信息;
令i=i+1,返回所述根据所述视频的第i+1帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征、跟踪特征和所述跟踪目标集中每个跟踪目标的跟踪信息,将所述第i+1帧视频图像中包含的目标与所述跟踪目标集中的每个跟踪目标进行匹配的步骤。


7.一种目标跟踪装置,其特征在于,所述装置包括:
第一获取模块,用于获取需要进行目标跟踪...

【专利技术属性】
技术研发人员:范晶
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1