一种基于不规则目标边界对象的浓缩视频构建方法技术

本发明专利技术涉及一种基于不规则目标边界对象的浓缩视频构建方法，把监控视频中的目标抽取出来，并以方便快速高效浏览的方式重新安排显示于固定背景图片上的方法，对原始视频中检测出的目标采用不规则边界的表示形式，而不是采用传统的矩形框表示形式。使得浓缩系统的目标跟踪准确率获得大幅度提升，浓缩视频的整体融合效果大幅度提升，并且获得这些收益，并不需要明显的增加系统负担。

【技术实现步骤摘要】
一种基于不规则目标边界对象的浓缩视频构建方法
本专利技术涉及一种基于不规则目标边界对象的浓缩视频构建方法，属于数字视频

技术介绍
随着全程数字化、网络化的视频监控系统的发展，视频监控的作用变得愈专利技术显，其高度的开发性、集成性和灵活性，为整个安防产业的发展提供了更加广阔的发展空间，智能视频监控由于赋予更多的智能化、主动化、有效性等特点，成为新一代视频监控趋势。智能视频监控系统的需求主要来自于那些对安全要求敏感的场合，如军队、公安、银行、道路、停车场等。当盗窃发生或异常发生时，该类系统能够主动向保卫人员及时准确地发出警报，使工作人员能够充分利用视频监控网络实施报警联动和应急指挥处置，从而避免犯罪的发生。同时也减少了雇佣大批监视人员的投入。视频摘要是对一长段视频内容的简短总结。其主要作用是便于存储和视频的浏览或查找，相对于原始的视频资料，视频摘要的长度要短很多，节省了存储时间和空间。视频摘要保留了原内容的要点，所以对于用户来说，浏览或者查找视频摘要比浏览原始视频要节省时间。初始的视频摘要技术摘取原始视频中的关键帧组成，后来研究者开始进入到目标层次，允许组合不同时间点出现的目标摘要到同一个画面中从而进一步提高摘要效率(为了与传统的视频摘要区分，这种方式被称为视频浓缩)。视频摘要和视频浓缩的过程，一般分为以下几个步骤：(1)目标检测；(2)目标跟踪；(3)摘要/浓缩视频生成。目标检测过程，在视频中的每一帧执行，检测出该帧上出现的所有目标。目标一般都具有一个完全不规则的边界，但是由于不规则的目标边界不利于相关算法的执行，在传统的做法中，一般都用一个完全包含该目标的矩形框来表征该目标，如图1a中的矩形框所示；目标跟踪过程，把所有帧中检测出来的目标相互关联，同一个目标在不同帧中的出现被串成目标的运动轨迹；摘要/浓缩视频的生成过程，就是把所有这些目标的运动轨迹在尽可能短的视频内完整表现出来，区别在于摘要视频要求各运动目标之间的时间顺序不可打乱而浓缩视频则允许打乱各运动目标之间的时间顺序。如图1b所示是浓缩视频中的一帧，其上除了图1a中的所有目标以外，还出现了在原始视频中跟图1a中的目标不在同一时刻出现的其它目标。由于监控视频的海量特性，视频的摘要和浓缩，在监控视频领域有广泛的使用需求。但现阶段，视频的摘要和浓缩，仍然存在着明显的不足。针对相对热闹区域的监控视频，几乎每一帧中都存在着运动目标，摘要视频又不能改变目标之间的时间顺序，因此采用摘要视频很难达到加速浏览、降低存储的效果，因此我们把重点放在浓缩视频的研究上。视频浓缩，现阶段同样存在着很多不足：(1)目标检测的检出率和正确率仍难以达到完美；(2)目标跟踪过程有时出现跟丢、跟错的问题；(3)浓缩视频的结果可能会出现局部色调差异。以下逐一说明这几个问题。目标检测，一般有两个方法：运动目标检测和基于目标识别的检测，不管采用哪种方案，目前的检出率和正确率都难以达到完美的程度，这方面的研究很多，最近也取得了重要的进展，但这不是本专利所关心的部分。目标跟踪过程，常常会出现跟丢、跟错的问题，这跟我们用矩形框来表示一个目标具有直接的联系。在图1a中，左边的矩形框描述了一个行人目标，在跟踪过程中，我们把这个矩形框中的内容当作行人与下一个出现的帧去比较、匹配，这个过程在逻辑上是存在着很大的隐患的：由于矩形框中的内容，实际上是由两部分组成的，一部分是它所代表的行人，另一部分却是背景；跟踪过程中的匹配，在行人下一次出现的时候，行人还是行人，这一点没有变，然后背景却是可以彻底改变的，由于矩形框中的背景部分往往会占了矩形框中的很大一部分比例，在目标跟踪过程中，背景的变化会极大程度上的干扰匹配，产生跟丢、跟错的问题。在监控视频浓缩策略中，我们的一个基本假设是监控视频中的背景短期内保持静止不变，实际应用中由于光照变化、拍摄技术条件等，视频背景实际会产生微小的差异，尤其是表现在亮度方面，只不过在连续播放过程中，用户很难发现这一细微的变化。但是在视频浓缩这一操作中，这一细微变化却会被体现出来：比如浓缩结果中，第10帧的某个目标被贴到第100帧的背景上，这是目标矩形框内的背景部分仍然是第10帧的背景，目标矩形框之外则是第100帧的背景，当这两帧的背景被放到一起去直接比较的时候，非常细微的亮度差异很轻易地就被用户察觉了，这是基于人眼对亮度差异的敏感度远远高于对亮度值本身的敏感度这一生理现象。目标跟踪的不准确和浓缩视频结果中的局部色调差异问题，这都是直接有以矩形框来表征目标而引起的，要想解决这两个问题，必须从根源上出发。
技术实现思路
本专利技术所要解决的技术问题是提供一种针对目标对象，引入不规则目标边界定义，能够有效提高浓缩视频构建效率的基于不规则目标边界对象的浓缩视频构建方法。本专利技术为了解决上述技术问题采用以下技术方案：本专利技术设计了一种基于不规则目标边界对象的浓缩视频构建方法，用于针对固定角度摄像装置所获视频流，构建浓缩视频，包括如下步骤：步骤A.将视频流中第一帧图像初始定义为当前背景模型，并初始化参数n＝2，然后进入步骤B；步骤B.基于当前背景模型，提取视频流中第n帧图像的前景区域Fn，并提取第n帧图像前景区域Fn中的各个潜在运动区域，构建第n帧图像前景潜在运动区域集合Sn，然后进入步骤C；步骤C.检测获得第n帧图像前景潜在运动区域集合Sn中的各个矩形目标运动区域，并分别针对该各个矩形目标运动区域，构建获得矩形目标运动区域中的不规则目标边界对象，作为该矩形目标运动区域中的目标对象，进而获得第n帧图像中的各个目标对象，构建第n帧图像所对应的目标对象集合On；然后进入步骤D；步骤D.根据β＝n-2，判断β是否等于0，是则进入步骤J；否则进入步骤E；步骤E.判断β是否小于预设向前检测跟踪帧数α，是则进入步骤F；否则进入步骤G；其中，1≤α≤(N-2)，N表示视频流中的帧数，N＞2；步骤F.将第n-1帧图像至第n-β帧图像中的各帧图像，作为本次循环中的各帧待处理图像，然后进入步骤H；步骤G.将第n-1帧图像至第n-α帧图像中的各帧图像，作为本次循环中的各帧待处理图像，然后进入步骤H；步骤H.针对所有待处理图像所对应目标对象集合中的所有目标对象，在第n帧图像中进行跟踪，若目标跟踪均不成功，则进入步骤J；否则将由待处理图像跟踪到第n帧图像的各个目标对象，加入到第n帧图像所对应的目标对象集合On当中，针对On进行更新，然后进入步骤I；步骤I.针对第n帧图像所对应目标对象集合On中的各个目标对象，将同一目标对象进行合并，更新第n帧图像所对应目标对象集合On，然后返回步骤J；步骤J根据第n帧图像的前景区域Fn、前景潜在运动区域集合Sn和目标对象集合On，获得第n帧图像的背景区域，并采用该背景区域更新当前背景模型，然后进入步骤K；步骤K.判断n是否等于N，是则进入步骤L；否则针对n的值进行加1更新，然后返回步骤B；步骤L.针对视频流各帧图像分别所对应目标对象集合当中的所有目标对象，按照预设浓缩视频策略进行重排，并根据重排后的顺序，将各个目标对象依次置于指定帧图像上，构建浓缩视频。作为本专利技术的一种优选技术方案：所述步骤C中，分别针对各个矩形目标运动区域，按照如下设计，构建获得矩形目标运动区域中的不规则目标边界对本文档来自技高网...

【技术保护点】
一种基于不规则目标边界对象的浓缩视频构建方法，用于针对固定角度摄像装置所获视频流，构建浓缩视频，其特征在于，包括如下步骤：步骤A.将视频流中第一帧图像初始定义为当前背景模型，并初始化参数n＝2，然后进入步骤B；步骤B.基于当前背景模型，提取视频流中第n帧图像的前景区域Fn，并提取第n帧图像前景区域Fn中的各个潜在运动区域，构建第n帧图像前景潜在运动区域集合Sn，然后进入步骤C；步骤C.检测获得第n帧图像前景潜在运动区域集合Sn中的各个矩形目标运动区域，并分别针对该各个矩形目标运动区域，构建获得矩形目标运动区域中的不规则目标边界对象，作为该矩形目标运动区域中的目标对象，进而获得第n帧图像中的各个目标对象，构建第n帧图像所对应的目标对象集合On；然后进入步骤D；步骤D.根据β＝n‑2，判断β是否等于0，是则进入步骤J；否则进入步骤E；步骤E.判断β是否小于预设向前检测跟踪帧数α，是则进入步骤F；否则进入步骤G；其中，1≤α≤(N‑2)，N表示视频流中的帧数，N＞2；步骤F.将第n‑1帧图像至第n‑β帧图像中的各帧图像，作为本次循环中的各帧待处理图像，然后进入步骤H；步骤G.将第n‑1帧图像至第n‑α帧图像中的各帧图像，作为本次循环中的各帧待处理图像，然后进入步骤H；步骤H.针对所有待处理图像所对应目标对象集合中的所有目标对象，在第n帧图像中进行跟踪，若目标跟踪均不成功，则进入步骤J；否则将由待处理图像跟踪到第n帧图像的各个目标对象，加入到第n帧图像所对应的目标对象集合On当中，针对On进行更新，然后进入步骤I；步骤I.针对第n帧图像所对应目标对象集合On中的各个目标对象，将同一目标对象进行合并，更新第n帧图像所对应目标对象集合On，然后返回步骤J；步骤J根据第n帧图像的前景区域Fn、前景潜在运动区域集合Sn和目标对象集合On，获得第n帧图像的背景区域，并采用该背景区域更新当前背景模型，然后进入步骤K；步骤K.判断n是否等于N，是则进入步骤L；否则针对n的值进行加1更新，然后返回步骤B；步骤L.针对视频流各帧图像分别所对应目标对象集合当中的所有目标对象，按照预设浓缩视频策略进行重排，并根据重排后的顺序，将各个目标对象依次置于指定帧图像上，构建浓缩视频。...

【技术特征摘要】
1.一种基于不规则目标边界对象的浓缩视频构建方法，用于针对固定角度摄像装置所获视频流，构建浓缩视频，其特征在于，包括如下步骤：步骤A.将视频流中第一帧图像初始定义为当前背景模型，并初始化参数n＝2，然后进入步骤B；步骤B.基于当前背景模型，提取视频流中第n帧图像的前景区域Fn，并提取第n帧图像前景区域Fn中的各个潜在运动区域，构建第n帧图像前景潜在运动区域集合Sn，然后进入步骤C；步骤C.检测获得第n帧图像前景潜在运动区域集合Sn中的各个矩形目标运动区域，并分别针对该各个矩形目标运动区域，构建获得矩形目标运动区域中的不规则目标边界对象，作为该矩形目标运动区域中的目标对象，进而获得第n帧图像中的各个目标对象，构建第n帧图像所对应的目标对象集合On；然后进入步骤D；步骤D.根据β＝n-2，判断β是否等于0，是则进入步骤J；否则进入步骤E；步骤E.判断β是否小于预设向前检测跟踪帧数α，是则进入步骤F；否则进入步骤G；其中，1≤α≤(N-2)，N表示视频流中的帧数，N＞2；步骤F.将第n-1帧图像至第n-β帧图像中的各帧图像，作为本次循环中的各帧待处理图像，然后进入步骤H；步骤G.将第n-1帧图像至第n-α帧图像中的各帧图像，作为本次循环中的各帧待处理图像，然后进入步骤H；步骤H.针对所有待处理图像所对应目标对象集合中的所有目标对象，在第n帧图像中进行跟踪，若目标跟踪均不成功，则进入步骤J；否则将由待处理图像跟踪到第n帧图像的各个目标对象，加入到第n帧图像所对应的目标对象集合On当中...

【专利技术属性】
技术研发人员：顾晓东，马小骏，
申请(专利权)人：江苏东大金智信息系统有限公司，
类型：发明
国别省市：江苏,32