一种基于视频跟踪的跨场景目标检索方法及装置制造方法及图纸

技术编号:19647388 阅读:26 留言:0更新日期:2018-12-05 20:38
一种基于视频跟踪的跨场景目标检索方法及装置,所述方法包括:对多个关联摄像头进行视频跟踪获得目标的轨迹,将该目标的轨迹作为训练样本;根据所述训练样本进行目标的分类模型训练;利用所述目标的分类模型构建目标特征数据库;提取待检索视频目标的特征,与所述目标特征数据库中已有的目标特征进行相似性度量计算,取相似度最高或前N个特征作为检索特征,对目标进行跨场景检索。本发明专利技术可以提高目标在检索中的准确度及鲁棒性,使得目标在检索比对时可以提供轨迹的多帧信息,提高了目标检索效果。

A Method and Device for Cross-Scene Target Retrieval Based on Video Tracking

A cross-scene target retrieval method and device based on video tracking is proposed. The method includes: tracking multiple associated cameras to obtain the target's trajectory, using the target's trajectory as a training sample, training the target's classification model according to the training sample, and constructing the target's classification model by using the target's classification model. Target feature database; extract the features of the video target to be retrieved, and calculate the similarity measure of the existing target features in the target feature database. Take the highest similarity or the first N features as retrieval features, and carry out cross-scene retrieval of the target. The invention can improve the accuracy and robustness of the target in the retrieval, make the target provide multi-frame information of the trajectory in the retrieval comparison, and improve the retrieval effect of the target.

【技术实现步骤摘要】
一种基于视频跟踪的跨场景目标检索方法及装置
本专利技术涉及视频监控领域,更具体地,涉及在有多个关联摄像头的监控场景下,对出现的目标进行跨场景检索。
技术介绍
给定一个监控场景下的目标图像,检索在其它摄像头下该目标出现的情况,可广泛应用于智能视频监控、智能安保等领域。但目标在单一场景下也会随运动或与场景等发生视角变化,用其中的一帧代表目标进行检索,并不能表达出目标在该场景下的所有情况,当选择不好时,常常导致检索不到需要的目标,或者相同目标的相似度排序不高。目前大多目标检索用到的特征多是手工设计的,比如颜色、纹理或梯度直方图等,当目标在发生姿态或尺度变化,或被场景遮挡或光线变化等复杂情况下,这些手工设计的特征并不能很好的进行表征,很容易造成检索失效。另外,采用深度神经网络训练模型进行检索的方法,效果会有提升,但由于深度模型训练需要大量的数据,而标注视频中的目标,并将相同目标在不同视频中找出,这样的工作量是巨大的,往往会耗费大量人力物力。
技术实现思路
有鉴于此,本专利提出一种基于视频跟踪的跨场景目标检索方法及装置,通过对关联场景中目标进行跟踪,可以获取目标检索时需要的数据来源,并且可以为模型训练产生样本。目标在检索比对时可以提供轨迹的多帧信息,提高了目标检索效果。为达到上述目的,本专利技术的技术方案实现如下:本专利技术提供一种基于视频跟踪的跨场景目标检索方法,其特征在于:对多个关联摄像头进行视频跟踪获得目标的轨迹,将该目标的轨迹作为训练样本;根据所述训练样本进行目标的分类模型训练;利用所述目标的分类模型构建目标特征数据库;提取待检索视频目标的特征,与所述目标特征数据库中已有的目标特征进行相似性度量计算,取相似度最高或前N个特征作为检索特征,对目标进行跨场景检索。优选地,通过视频跟踪生成训练样本包括对每个摄像头下的目标进行检测跟踪;对目标轨迹进行过滤,从而去除轨迹中的干扰项;将多个摄像头下的视频中所有该目标的轨迹进行融合;得到目标轨迹样本集合。优选地,根据所述生成的训练样本进行模型训练包括获得带标签的训练样本;对上述样本的数据进行预处理;采用卷积神经网络,提取特征表征层,通过分类层进行类别输出,完成模型训练。优选地,构建目标特征数据库包括每个摄像头下的目标进行检测和跟踪,得到目标轨迹;选取上述目标轨迹踪中一帧或多帧图像数据作为目标代表帧;利用训练模型提取各目标特征;将提取出的目标特征及其对应索引送入数据库中,得到目标特征数据库。优选地,所述提取待检索视频目标的特征,与所述目标特征数据库中已有目标的特征进行相似性度量计算包括通过L2范数或余弦距离的计算得出目标与数据库中各目标的相似度。本专利技术还提供了一种基于视频跟踪的跨场景目标检索装置,其特征在于包括:训练样本生成装置,用于对多个关联摄像头进行视频跟踪获得目标的轨迹,将该目标的轨迹作为训练样本;模型训练装置,用于根据所述训练样本进行目标的分类模型训练;构建目标特征数据库装置,利用所述目标的分类模型构建目标特征数据库;跨场景检索装置,用于提取待检索视频目标的特征,与所述目标特征数据库中已有的目标特征进行相似性度量计算,取相似度最高或前N个特征作为检索特征,对目标进行跨场景检索。优选地,训练样本生成装置包括检测跟踪装置,用于包括对每个摄像头下的目标进行检测跟踪;过滤装置,用于对目标轨迹进行过滤,从而去除轨迹中的干扰项;融合装置,用于将多个摄像头下的视频中所有该目标的轨迹进行融合;目标轨迹样本装置,用于得到目标轨迹样本集合。优选地,根据所述生成的训练样本进行模型训练包括获得带标签的训练样本;对上述样本的数据进行预处理;采用卷积神经网络,提取特征表征层,通过分类层进行类别输出,完成模型训练。优选地,构建目标特征数据库装置包括检测跟踪装置,用于对每个摄像头下的目标进行检测和跟踪,得到目标轨迹;代表帧选取装置,用于选取上述目标轨迹踪中一帧或多帧图像数据作为目标代表帧;提取装置,用于利用训练模型提取各目标特征;送入装置,用于将提取出的目标特征及其对应索引送入数据库中,得到目标特征数据库。优选地,所述提取待检索视频目标的特征,与所述目标特征数据库中已有目标的特征进行相似性度量计算包括通过L2范数或余弦距离的计算得出目标与数据库中各目标的相似度。本专利技术还提供了一种计算机可读存储介质,其特征在于:所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述跨场景目标检索方法的方法步骤。本专利技术还提供了一种基于视频跟踪的跨场景目标检索系统,其特征在于:包括处理器、以及存储有可执行指令的存储器,当所述可执行指令被处理器执行时实现权利要求1-5任一所述的跨场景目标检索方法。本专利技术提出的一种基于视频跟踪的跨场景目标检索方法,通过视频跟踪生成训练样本;根据所述生成的训练样本进行模型训练;构建目标特征数据库;提取待检索视频目标的特征,与所述目标特征数据库中已有目标的特征进行相似性度量计算,取相似度最高或前N个特征作为检索特征,对目标进行跨场景检索。可以提高目标在检索中的准确度及鲁棒性,使得目标在检索比对时可以提供轨迹的多帧信息,提高了目标检索效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术实施例所述的视频跟踪生成训练样本流程图。图2为本专利技术实施例所述的模型训练框架图。图3为本专利技术实施例所述的构建目标特征数据库流程图。图4为本专利技术实施例所述的目标跨场景检索流程图。具体实施方式以下结合说明书附图及具体实施例对本专利技术的技术方案进行清楚、完整地描述。本专利技术提出一种基于视频跟踪的跨场景目标检索方法,通过对关联场景中目标进行跟踪,可以获取目标检索时需要的数据来源,并且可以为模型训练产生样本。目标在检索比对时可以提供轨迹的多帧信息,提高了目标检索效果。如图1所述的视频跟踪生成训练样本流程图。通过视频跟踪生成训练样本,包括对每个摄像头下的目标进行检测跟踪;对目标轨迹进行过滤,从而去除轨迹中的干扰项;将多个摄像头下的视频中所有该目标的轨迹进行融合;得到目标轨迹样本集合。ROI(RegionsofInterest),感兴趣区域模型训练。在实际的监控中,人们往往只对监控画面中的一些特定区域比较关注,比如画面中的车牌、人脸等等,而对背景的蓝天、草地等并不在意。这些特定的区域,被称为“感兴趣区域”。ROI编码技术是ISO组织在2000年制定的新一代静态图像压缩编码标准JPEG2000中最大的亮点之一,也是当今图像编码领域的研究热点。此项技术可以对图像中的感兴趣区域(ROI)进行低压缩比的无损压缩或近无损压缩,在背景区域进行高压缩比的有损压缩训练样本。这样在码流不变的情况下,即可保证不丢失重要信息又能有效地压缩数据量,很好地解决了压缩比和图像质量之间的矛盾首先对每个视频采用Faster-RCNN或SSD/Yolo等深度检测方法进行目标检测,提取出每个目标。选用FastDSST基于判别尺度空间的单目标跟踪方法,通过构建尺度空间估计目标在视频序列中的尺度变化,可以对目标进行较准本文档来自技高网...

【技术保护点】
1.一种基于视频跟踪的跨场景目标检索方法,其特征在于:对多个关联摄像头进行视频跟踪获得目标的轨迹,将该目标的轨迹作为训练样本;根据所述训练样本进行目标的分类模型训练;利用所述目标的分类模型构建目标特征数据库;提取待检索视频目标的特征,与所述目标特征数据库中已有的目标特征进行相似性度量计算,取相似度最高或前N个特征作为检索特征,对目标进行跨场景检索。

【技术特征摘要】
1.一种基于视频跟踪的跨场景目标检索方法,其特征在于:对多个关联摄像头进行视频跟踪获得目标的轨迹,将该目标的轨迹作为训练样本;根据所述训练样本进行目标的分类模型训练;利用所述目标的分类模型构建目标特征数据库;提取待检索视频目标的特征,与所述目标特征数据库中已有的目标特征进行相似性度量计算,取相似度最高或前N个特征作为检索特征,对目标进行跨场景检索。2.如权利要求1所述的跨场景目标检索方法,其特征在于,通过视频跟踪获得目标的轨迹包括:对每个摄像头下的目标进行检测跟踪;对目标轨迹进行过滤,去除轨迹中的干扰项;将多个摄像头视频中的所有该目标的轨迹进行融合;得到目标轨迹样本集合。3.如权利要求1所述的跨场景目标检索方法,其特征在于:根据所述训练样本进行目标的分类模型训练包括:获得带标签的训练样本;对上述样本的数据进行预处理;采用卷积神经网络,提取特征表征层,通过分类层进行类别输出,完成模型训练。4.如权利要求1所述的跨场景目标检索方法,其特征在于:构建目标特征数据库包括:对每个摄像头下的目标进行检测和跟踪,得到目标轨迹;选取上述目标轨迹踪中一帧或多帧图像数据作为目标代表帧;利用所述分类模型提取各目标特征;将提取出的目标特征及其对应索引送入数据库中,得到目标特征数据库。5.如权利要求1所述的跨场景目标检索方法,其特征在于:所述提取待检索视频目标的特征,与所述目标特征数据库中已有的目标特征进行相似性度量计算包括:通过L2范数或余弦距离计算得出目标与数据库中各目标的相似度。6.一种基于视频跟踪的跨场景目标检索装置,其特征在于包括:训练样本生成装置,用于对多个关联摄像头进行视频跟踪获得目标的轨迹,将该目标的轨迹作为训练样本;模型训练装置,用于根据所述训练样本进行目标的分类模型训练;构建目标特征数据库装...

【专利技术属性】
技术研发人员:谯帅彭莉刘洋朱尧
申请(专利权)人:新智数字科技有限公司
类型:发明
国别省市:河北,13

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1