不同场景下自适应的多目标视频追踪系统技术方案

技术编号:28212634 阅读:16 留言:0更新日期:2021-04-24 14:51
本发明专利技术提出的不同场景下自适应的多目标视频追踪系统,旨在解决视频监控中对多个目标进行同时追踪的问题,并对追踪目标的轨迹进行管理,本发明专利技术提出的多目标追踪方法基于单目标追踪改进融合实现,采用连续自适应均值漂移算法和在线学习检测追踪算法,将两种算法用于不同的监控场景中改进融合分别进行多目标追踪,多目标视频追踪系统对多个目标进行追踪解决的问题包括自动提取检测追踪目标,并对目标进行分类,针对不同目标运用不同算法进行追踪,同时对追踪后的轨迹结果进行后处理和统一管理,在提高追踪效果的同时,也大幅提升了系统对目标轨迹的检索效率。对目标轨迹的检索效率。对目标轨迹的检索效率。

【技术实现步骤摘要】
不同场景下自适应的多目标视频追踪系统


[0001]本专利技术涉及一种多目标视频追踪系统,特别涉及一种不同场景下自适应的多目标视频追踪系统,属于目标视频追踪


技术介绍

[0002]在国家战略层面,随着平安城市的建设在各地的大力推进,人们对社会治安的期望和要求越来越高,在视频监控范围扩大化和环境复杂化的同时,面向社会综治业务的智慧视频监控系统对目标追踪的要求越来越高,全国各地部署了众多的基于视频监控的综治与安防系统,并在许多重要区域和路段安装监控摄像头。但是,开始随之而来的问题是相关人员无暇兼顾数量巨大的摄像头和海量的监控视频,并且长时间的人工视频监视极易引起人的视觉感知疲劳,监视质量和效率大幅降低,极易漏掉关键的案件细节和线索。在这种背景下,以计算机视觉和人工智能为核心的智慧视频监控系统显得很有必要,这将给整个社会的综合治理和安全提供有力保障。
[0003]以活动目标追踪为核心的视频分析是为了在摄像机画面的图像与图像描述间构建一种映射关系,是实现智慧视频监控的关键。在无需人工干预的前提下实时智慧分析监控视频,对众多摄像头拍摄到的画面场景中的有效目标进行检测、追踪、定位和识别,在得到这些结果的基础上对目标的行为理解分析,在完成视频监控系统作为一种有效监管手段来对突发情况进行及时预警和对事件可能够出现的其它结果进行预测之外,能够最大限度的减少社会综治人员的工作量,同时还能避免因人工疲劳导致的错误判断,也能避免遗漏一些突发事件中的非常重要的细节线索。智慧视频分析正在代替人类,在繁琐枯燥的视频监控工作中从事复杂的信息处理工作,并且取得了良好效果。
[0004]智慧视频监控技术使得计算机能随时捕获摄像头所看到的一切并实时分析处理,赋予计算机像人类那样能对所看到的事物进行分析理解并进行决策的能力,使得系统能自动完成对场景中感兴趣的目标或区域进行分析描述,而对场景中移动目标和相关区域进行实时检测、追踪和识别是智慧视频分析中分析和行为理解的前提。智慧视频监控技术通过摄像机标定并联合时空和地理位置信息等其它信息和线索,可以完成跨时间跨地域的全方位自动监控,迅速定位关注目标的位置,大大节省了时间,提高了工作效率,有力维护了社会治安和稳定秩序。
[0005]视频分析技术来源于计算机视觉,同时又融合了计算机图形学、数字图像处理技术、智能模式识别等多项高科技技术,凭借计算机对信息强大的处理分析能力,对海量数据进行快速分析处理,在滤掉视频图像中的一些无关信息的同时,获得并存储画面中有价值的关键信线索,并且自动锁定关注目标并进行追踪。
[0006]移动目标追踪在计算机视觉应用中发挥着重要作用,但由于应用场景的复杂性,其实际效果仍有待提高。例如,随着目标的移动,其外观视觉特征差异很大,目标的形态,尺寸和姿态等都会发生不同程度的变化。伴随时间的向后推移,场景中目标的外观视觉变化较大,对目标实时鲁棒的追踪带来了许多难题,由于影响对目标进行追踪的各种情况非常
多,目标追踪也是一个的热点和难点问题。随着计算机性能够的不断提高,多功能摄像头的出现和普及和社会对智慧视频监控需求的不断增长,目标追踪方法的需求越发强烈。但是现有技术的绝大多数目标追踪算法,问题的提出和解决基本上都是针对单个目标进行的,而对两个或者两个以上目标进行同时追踪的多目标追踪算法的研究和应用较少,并且迄今为止还没有一种很好的针对监控视频和面向社会综合治理业务的能同时追踪十个以上目标的解决方案。
[0007]现有技术依然没有从根本上解决多目标追踪面临的难题,由于追踪目标数量的不确定性和监控场景的复杂多变,现有的追踪算法很难适应复杂条件下的多目标自动追踪这一难题,现有技术的难点和本专利技术解决的问题主要集中在以下方面:
[0008]第一,视频目标追踪是计算机应用新技术在智慧监控领域的一个热点和难点问题,在视频监控范围扩大化和环境复杂化的同时,面向社会综治业务的智慧视频监控系统对目标追踪的要求越来越高,对目标移动轨迹的应用需求越来越多,移动目标追踪在计算机视觉应用中发挥着重要作用,但由于应用场景复杂,其实际效果仍有待提高,如在实际监控场景下,随着目标的移动,其外观视觉特征差异很大,目标的形态,尺寸和姿态等都会发生不同程度的变化,随时间的推移,光照变化对目标的影响非常显著,这些对目标进行实时、鲁棒的追踪带来巨大困难,由于影响目标追踪的因素多,目标追踪非常具有挑战,现有技术的目标追踪算法绝大多数是在简单场景中基于单个目标的追踪,而实际的监控环境非常复杂,光照背景的变化、活动目标自身特征和统计特征的变化及场景中同时存在多个活动目标并伴随相互遮挡的情况,针对视频监控场景的这种特殊性,现有技术还没有一种性能优异、追踪效果稳定的多目标追踪的解决方法;
[0009]第二,监控场景的复杂性:监控场景的变化来自多方面的原因,但光照变化是其主要原因之一,在不同的监控时段,图像画面明暗程度也会不同,由于阳光或灯光的变化会在图像中引入各种噪声,降低了图像质量,同时会损失许多细节信息,最明显的就是图像中同一目标的外观颜色和纹理特征会发生显著变化,现有技术基于视觉特征的检测追踪算法就会变得非常不稳定,无法达到理论效果;
[0010]第三,追踪目标的随机性:视频监控画面中活动目标的变化主要是指新目标的随机出现,旧目标的消失和当前画面中的目标由于发生遮挡导致的合并和分裂,在进行多目标追踪时,现有技术很难准确判断当前图像帧中活动目标的数目和类别,无法进行稳定的多目标追踪;
[0011]第四,追踪系统的实时性:视频监控系统需要对摄像头传回的海量视频图像数据进行实时处理,分析画面中所有活动目标可能出现的异常行为,及时反馈监控场景可能突发的事件,因此需要保证多目标视频追踪系统的实时性,但是由于对多目标追踪问题的研究长期以来本身就是一个复杂的困难过程,需要考虑的因素太多,简而言之就是在确保追踪算法对多个目标进行准确追踪的同时,对算法时间复杂度方面进行较大提升存在诸多困难;
[0012]第五,监控视角的局限性大:在大多数监控环境中,摄像头的位置都是固定的,即使其方向和角度能够进行调整和控制,它能够拍摄并实施有效监控的场景范围也十分有限,并且远远无法达到人眼那种程度的智能化水平,此外,在相邻或具有相关性的多个摄像头之间无法实时进行场景协同和信息共享,容易导致追踪失败进而无法获得目标的移动轨
迹。

技术实现思路

[0013]针对现有技术的不足,本专利技术主要解决在监控场景目标变形遮挡导致的追踪丢失、现有的多目标追踪算法无法满足追踪系统的实时性要求及追踪目标动态变化导致轨迹混乱和断裂等问题,本专利技术的连续自适应均值漂移算法基于颜色特征,追踪速度快、能够适应多尺度变化;在线学习检测追踪算法将检测、学习和追踪三个过程结合,对监控环境中的遮挡和追踪丢失问题处理效果好,本专利技术对这两种算法进行改进融合,并将其应用于多目标视频追踪系统,针对不同的监控场景特征,智能选择自适应追踪算法,实现最佳的多目标视频追踪效果,本专利技术针对多目标视频追踪特征,设计实现多目标轨迹处理单元,针对监控环境中,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.不同场景下自适应的多目标视频追踪系统,其特征在于,包括多目标视频追踪方法和自适应的多目标视频追踪系统,其中,连续自适应均值漂移算法基于颜色特征,适应多尺度变化,在线学习检测追踪算法将检测、学习和追踪三个过程结合,针对性处理监控环境中的遮挡和追踪丢失问题;本发明对两种算法进行改进融合,并将其应用于多目标视频追踪系统,针对不同的监控场景特征,智能选择自适应追踪算法,实现最佳的多目标视频追踪效果;多目标视频追踪方包括视频图像的前置处理、移动目标的检测和分类、基于连续自适应均值漂移和在线学习检测追踪算法的多目标追踪方法,采用单目标追踪算法改进融合实现同时对多个目标同时追踪的的具体方法,首先从对监控视频图像清晰度不高,画面质量模糊特征提出对图像帧进行前置处理的步骤,包括图像去噪和图像增强,然后采用对监控场景进行背景模型构建来提取前景目标的方法,根据混合高斯背景模型构建的原理,基于连续自适应均值漂移算法和在线学习检测追踪算法两种算法的各自特征,针对性的提出进行自适应多目标追踪方法;自适应的多目标视频追踪系统包括系统的功能需求、追踪系统的结构框架、系统的模块单元、系统的数据库,系统的模块单元分为总控单元、跟踪前置处理单元、目标追踪单元和多目标轨迹处理单元四个部分,每个模块单元又按照模块所使用的数据结构、模块类图和处理流程展开,将动态加载OpenCV 2中的部分链接库和系统运行后生成的本地链接库来实现本发明提出的所有功能,数据库通过xml文件格式来离线保存目标的追踪轨迹;本发明针对多目标视频追踪特征,设计实现多目标轨迹处理单元,针对监控环境中,追踪目标的类别十分复杂,数量也在不断变化,对目标移动轨迹进行分类存储并统一管理,利用本发明提出的多目标轨迹处理单元,解决目标追踪过程中的追踪漂移问题,通过对目标轨迹的后处理,即通过对轨迹进行滤波平滑、曲线拟合及路径预测方式,校正移动目标轨迹,提高目标追踪准确率。2.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统,其特征在于,移动目标的检测和分类:监控视频的移动目标是视频画面中的行人和车辆,对移动目标的提取、检测、分类是自动目标追踪的前提,多目标追踪过程的具体实现途径是先通过构建视频背景模型,将作为前景的移动目标从背景中提取分割出来,然后选取合适特征表达描述移动目标,运用检测算法对目标定位,得到目标完整的特征信息,最后将检测到的目标进行分类,为后续的自动追踪过程奠定基础。3.根据权利要求2所述的不同场景下自适应的多目标视频追踪系统,其特征在于,背景模型构建和目标分割:提出参数化的混合高斯背景建模方法,根据视频中每一个像素在时间域及空间域上的分布情况模拟各个像素的概率分布模型,构建鲁棒的场景表示模型依次达到背景模型构建,在图像中像素i在r时刻取值为x
i
的概率为:的概率为:表示在r时刻像素i在混合高斯模型中第j个高斯分量的权重值值,W表示高斯分布模型数目,满足如下关系:
其中,和分别表示第j个高斯分量的均值和协方差,b表示高斯概率密度函数,在RGB颜色空间中,协方差矩阵可写成:其中d代表标准差,B代表单位矩阵;若x
i
与第j个高斯分量相匹配,则该高斯分量被x
i
更新,其余高斯分量保持不变,更新策略如下:略如下:略如下:略如下:其中,g代表学习模型率,f代表参数的学习率,该参数表征高斯分布参数变化的收敛速度,其余高斯分量的参数保持不变,它们的权重值按照下式进行更新:R为预定义的临界值,表示背景高斯分量在该像素概率分布中所占的最小比例,取值较大者表示该像素值对应的像素点出现的概率较大,根据场景背景的动态变化适时自适应调整W的取值提高背景模型构建效果,参数化的混合高斯背景建模方法应用在监控环境中能很好的适应场景中背景的动态变化,完整提取出移动目标,保证移动目标检测和追踪效果。4.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统,其特征在于,基于连续自适应均值漂移和在线学习检测追踪算法的多目标追踪方法:改进融合连续自适应均值漂移算法和在线学习检测追踪算法,通过自适应滤波的方式对发生变化的目标重新追踪匹配,降低因遮挡变形或追踪漂移导致的追踪结果不稳定;当场景中移动目标的外观颜色较鲜艳、轮廓较明显或与背景颜色差别较明显,背景和前景之前具有很好的区分性时,采用基于颜色直方图的连续自适应均值漂移算法进行追踪;当监控场景比较复杂,监控画面不是特别清晰,追踪的移动目标发生相互遮挡导致外观特征信息丢失甚至整个目标丢失的情况时,这时在线学习检测追踪算法识别并捕捉从画面中消失后重新进入画面或被遮挡后重新出现的移动目标,并继续保持对它们的追踪;在目标追踪开始前和进行过程中,不断有旧的追踪目标从画面消失和新的追踪目标进入画面,同时还存在移动目标暂停、目标遮挡而导致的目标外观信息缺失甚至目标丢失的情况,对画面中这些移动目标的动态变化进行及时更新,创建一个待追踪目标管理链表对目标追踪得到的轨迹进行统一管理,给每一个新进入的新目标分配用于区别于其它目标的
ID,同时保留从画面中暂时消失的移动目标,直到满足一定条件后通过轨迹管理删除目标ID,对于在追踪过程中发生突变的移动目标,即发生目标的主要特征信息丢失、目标旋转或被部分遮挡情况,通过轨迹匹配和方向检测方式对目标进行识别。5.根据权利要求4所述的不同场景下自适应的多目标视频追踪系统,其特征在于,采用卡尔曼滤波的方法融合到连续自适应均值漂移算法中进行多目标搜索,并按照前景检测的结果进行更新匹配,具体的搜索策略如下:假设在第W帧图像中存在n个正在被追踪的目标,那么在第W+1帧中,在前景检测的结果上,对所有前景团块运用连续自适应均值漂移算法进行追踪匹配,如果所有目标全部都成功匹配,则表明在这两帧图像之间没有发生目标类别和数量的变化;如果匹配完成后,在第W+1帧中还存在没有被匹配的前景团块或者目标,则表明从第W帧到第W+1帧的过程中发生了目标的突变,需要运用卡尔曼滤波的方法,对目标的移动状态进行相似性对比,并运用排列组合的方法将所有可能结果进行排序,然后再次进行追踪比对,得到可信度较高的追踪结果,在经过多次滤波和对比追踪后,若还存在无法匹配的目标,则标记该目标为新目标,分配新ID并初始化追踪器对该目标进行追踪;针对可能发生的目标遮挡、变形或目标消失的情况,则在第W+1帧中自动销毁已经从画面中消失的目标对应的追踪器,而对发生遮挡或变形的目标,则重新初始化基于在线学习检测追踪算法的追踪器,保留第W帧中对应目标的追踪结果,并重新对目标进行在线学习,获取并存储该目标最新的外观轮廓模型和视觉特征信息,追踪并匹配这些发生突变的移动目标,结合前置处理部分中的前景检测效果,在检测结果的区域内对目标最终的结果做融合,获得可行度较高的移动轨迹。6.根据权利要求1所述的不同场景下自适应的多目标视频追踪系统,其特征在于,追踪系统的总体结构分成四个基本模块单元,即总控单元、追踪前置处理单元、目标追踪单元和多目标轨迹处理单元,每个模块单元具体包括模块类图、数据结构、处理流程和结构定义;追踪前置处理单元:实现多目标视频追踪系统得到初始化,对多个目标同时进行自动追踪,首先从视频中获取移动目标的初始位置,追踪前置处理功能对背景模型构建的结果作...

【专利技术属性】
技术研发人员:李蕊男王斌
申请(专利权)人:荆门汇易佳信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1