一种实时视频的多目标去重方法、终端设备及存储介质技术

技术编号:20725883 阅读:27 留言:0更新日期:2019-03-30 17:54
本发明专利技术涉及一种实时视频的多目标去重方法、终端设备及存储介质,在该方法中,包括以下步骤:S100:根据当前时刻的视频帧画面,提取画面内各目标的图片;S200:根据各目标的图片,得到对应的结构化信息数据:目标图像特征向量、追踪信息和图像质量评分;S300:设定当前时刻之前的各目标的结构化信息数据的集合为目标集,根据目标的结构化信息数据进行聚类,将当前时刻各目标的结构化信息数据添加至目标集中,使得目标集中不同时刻的同一目标仅出现一次,且出现的目标为相对质量最好的目标。本发明专利技术通过聚类实现目标检测的输出结果,对于相同物体的图片最终只会输出一张,大大减少了系统的冗余工作,且一定范围地降低了检测的误判率,提高鲁棒性。

【技术实现步骤摘要】
一种实时视频的多目标去重方法、终端设备及存储介质
本专利技术涉及计算机视觉
,尤其涉及一种实时视频的多目标去重方法、终端设备及存储介质。
技术介绍
目标检测是计算机视觉领域基础任务之一,它的主要工作是识别一张图片中的多个物体,并定位出他们在图像中的位置。当前领域内流行的视频提取结构化信息的方法中主要依赖于目标检测模型先将感兴趣目标标记出来,然后进一步对各标记目标进行特征分析,以确定目标的颜色、形态等其他更具体的信息。视频帧进行目标检测后的输出直接作为后续应用(例如人脸识别、车牌识别)的输入会出现采集到同一个目标的多张重复图片的情况,这种情况一般是不可避免的。这是因为一个目标物体在视频中停留的时间至少会有1秒左右,在1秒的时间里摄像头至少会产生25帧图片作为目标检测服务的输入,那么目标检测服务最终会采集到这个物体的25张图片。如果对于同一个目标物体输出多张图片会导致浪费很多硬件性能去做重复没有意义的工作,以至于增加系统对每一路摄像头的视频结构化信息采集的成本。目前,对于相同目标的图片排重可参考的原有技术有:传统特征描述子提取的特征向量相似度计算方法、相关滤波算法以及基于卷积神经网络模型的算法。传统特征描述子(如:LBP、SIFT、ORB等)提取的特征向量用于计算目标图片的相似度的精度有限,即使是在一定时间段内出现误判的概率也相对较大,但它的优势是有些特征向量的提取计算量相对小且快;相关滤波算法通过目标的前一帧图片训练的目标检测器对下一帧中一定范围内的图像计算,选取与其响应最大的图片位置确定为跟踪的对象,该算法涉及很多复杂的数学运算如矩阵对角化、求逆等,后续很多优化算法都是通过不同的方法减少其矩阵计算量以提高运算速度,但即便在理想状态下也很难满足同时出现的多个目标的实时跟踪,尤其是在硬件性能有限的情况下;对于基于卷积神经网络模型的算法,网络构建的越是复杂对于不同目标图片的区分就越是精确,但相对的其运算复杂度也越来越高,这对于原本想要降低同一目标不同时间的图片对硬件性能消耗的初衷是相悖的,因此它也不适合现在的应用场景。
技术实现思路
为解决上述问题,本专利技术一种实时视频的多目标去重方法、终端设备及存储介质,通过聚类实现目标检测的输出结果,对于相同物体的图片最终只会输出一张,大大减少了系统的冗余工作,且一定范围地降低了检测的误判率,提高鲁棒性。具体方案如下:一种实时视频的多目标去重方法,包括以下步骤:S100:根据当前时刻的视频帧画面,提取画面内各目标的图片;S200:根据各目标的图片,得到对应的结构化信息数据:目标图像特征向量、追踪信息和图像质量评分;S300:设定当前时刻之前的各目标的结构化信息数据的集合为目标集,根据目标的结构化信息数据进行聚类,将当前时刻各目标的结构化信息数据添加至目标集中,使得目标集中不同时刻的同一目标仅出现一次,且出现的目标为相对质量最好的目标。进一步的,步骤S100具体步骤为:通过目标检测算法得到各个目标的位置坐标,通过位置坐标,得到每个目标的图片。进一步的,步骤S200中所述追踪信息为目标在视频帧画面中的矩形框位置LocRect(x,y,w,h),其中,x,y分别为x轴和y轴坐标,w,h分别为所在矩形框的宽和高。进一步的,步骤S300中聚类的具体方法为:根据步骤S100和S200提取的当前时刻的各目标的结构化信息数据,分别针对每一个目标,遍历当前时刻之前的视频帧画面中出现的目标集,通过结构化信息数据判定目标集中是否存在与该目标相同的目标,如果不存在,则将该目标添加至目标集中,并新增该目标的结构化信息数据,如果存在,则更新该目标的结构化信息数据,然后进行下一目标的判定,直至所有目标均判定完毕。进一步的,所述通过结构化信息数据判定目标集中是否存在与该目标相同的目标的方法为通过追踪信息与图像特征向量的相似度来进行判定,具体过程为:设定当前时刻之前的目标集中的目标为待比对目标,设定当前时刻提取的目标为待判定目标,选择一个待比对目标,根据追踪信息判定待判定目标的当前位置是否在该待比对目标的可疑区域之内,如果不是,选择下一个待比对目标进行判定,直到所有待比对目标均判定完毕;如果是,则计算待判定目标与该待比对目标的图像特征向量的相似度以及待比对目标最后出现位置的中心点与待判定目标的当前位置的中心点构成的位移向量与待比对目标的历史位移向量的角度的计算,如果相似度和角度均大于阈值,则将改待比对目标的结构化信息数据更新为待判定目标的结构化信息数据,否则,选择下一个待比对目标进行判定,直到所有待比对目标均判定完毕。进一步的,所述追踪信息的判定算法主要为:通过待判定目标的当前位置LocRect(x1,y1,w1,h1)与待比对目标的最后出现位置LastRect(x2,y2,w2,h2)的交并比IoU,以及待比对目标最后出现位置的中心点(xL,yL)与待判定目标的当前位置的中心点(xC,yC)构成的位移向量与待比对目标的历史位移向量(xH,yH)的夹角θ来计算,只有当交并比IoU和夹角θ同时大于阈值时,待判定目标在目标集中的上述目标的可疑区域之内;所述交并比IoU和夹角θ的计算公式为:其中,SLocRect∩LastRect表示待判定目标的当前位置与待比对目标的最后出现位置所在的矩形框面积的交集,SLocRect∪LastRect表示待判定目标的当前位置与待比对目标的最后出现位置所在的矩形框面积的并集。进一步的,所述图像特征向量的相似度使用余弦相似度算法进行计算,具体计算方法为:设定两个特征向量分别为:FVa=(x1,x2,…,xM),FVb=(y1,y2,…,yM),则两个特征向量的余弦相似度为:一种实时视频的多目标去重终端设备,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本专利技术实施例上述方法的步骤。一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现本专利技术实施例上述方法的步骤。本专利技术采用如上技术方案,并具有有益效果:1、通过选择合适复杂度的图像特征提取算法可适用于多种不同的硬件平台,且均可保证实时性。2、通过聚类实现目标检测的输出结果,对于相同物体的图片最终只会输出一张,大大减少了系统的冗余工作,且一定范围地降低了检测的误判率,提高鲁棒性。附图说明图1所示为本专利技术实施例一处理过程的示意图。图2所示为该实施例的流程图。具体实施方式为进一步说明各实施例,本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。现结合附图和具体实施方式对本专利技术进一步说明。如图1和2所示,本专利技术实施例提供了一种实时视频的多目标去重方法,包括以下步骤:S100:根据当前时刻(T时刻)的视频帧画面,提取画面内各目标的图片。该实施例中,步骤S100主要采用目标检测算法。通过目标检测算法可以得到各个目标的位置坐标,将同一时刻的视频帧画面内的所有目标的位置坐标作为一个集合Snm=Sn1、Sn2、Sn3……、Snm(n=1,2,3,...为视频帧序号,m为目标的个本文档来自技高网
...

【技术保护点】
1.一种实时视频的多目标去重方法,其特征在于,包括以下步骤:S100:根据当前时刻的视频帧画面,提取画面内各目标的图片;S200:根据各目标的图片,得到对应的结构化信息数据:目标图像特征向量、追踪信息和图像质量评分;S300:设定当前时刻之前的各目标的结构化信息数据的集合为目标集,根据目标的结构化信息数据进行聚类,将当前时刻各目标的结构化信息数据添加至目标集中,使得目标集中不同时刻的同一目标仅出现一次,且出现的目标为相对质量最好的目标。

【技术特征摘要】
1.一种实时视频的多目标去重方法,其特征在于,包括以下步骤:S100:根据当前时刻的视频帧画面,提取画面内各目标的图片;S200:根据各目标的图片,得到对应的结构化信息数据:目标图像特征向量、追踪信息和图像质量评分;S300:设定当前时刻之前的各目标的结构化信息数据的集合为目标集,根据目标的结构化信息数据进行聚类,将当前时刻各目标的结构化信息数据添加至目标集中,使得目标集中不同时刻的同一目标仅出现一次,且出现的目标为相对质量最好的目标。2.根据权利要求1所述的实时视频的多目标去重方法,其特征在于:步骤S100具体步骤为:通过目标检测算法得到各个目标的位置坐标,通过位置坐标,得到每个目标的图片。3.根据权利要求1所述的实时视频的多目标去重方法,其特征在于:步骤S200中所述追踪信息为目标在视频帧画面中的矩形框位置LocRect(x,y,w,h),其中,x,y分别为x轴和y轴坐标,w,h分别为所在矩形框的宽和高。4.根据权利要求3所述的实时视频的多目标去重方法,其特征在于:步骤S300中聚类的具体方法为:根据步骤S100和S200提取的当前时刻的各目标的结构化信息数据,分别针对每一个目标,遍历当前时刻之前的视频帧画面中出现的目标集,通过结构化信息数据判定目标集中是否存在与该目标相同的目标,如果不存在,则将该目标添加至目标集中,并新增该目标的结构化信息数据,如果存在,则更新该目标的结构化信息数据,然后进行下一目标的判定,直至所有目标均判定完毕。5.根据权利要求4所述的实时视频的多目标去重方法,其特征在于:所述通过结构化信息数据判定目标集中是否存在与该目标相同的目标的方法为通过追踪信息与图像特征向量的相似度来进行判定,具体过程为:设定当前时刻之前的目标集中的目标为待比对目标,设定当前时刻提取的目标为待判定目标,选择一个待比对目标,根据追踪信息判定待判定目标的当前位置是否在该待比对目标的可疑区域之内,如果不是,选择下一个待比对目标进行判定,直到所有待比对目标均判定完毕;...

【专利技术属性】
技术研发人员:阎辰佳林淑强吴鸿伟高爽张永光王海滨
申请(专利权)人:厦门市美亚柏科信息股份有限公司
类型:发明
国别省市:福建,35

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1