一种视频摘要中非关注区域事件的处理方法技术

本发明专利技术公开了一种视频摘要中非关注区域事件的处理方法，步骤包括：1)选择非关注区域，根据需要通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域；2)提取运动目标，按照单高斯背景建模方法提取背景图像；3)对事件分类，设定直分线上方为非关注区域，直分线下方为关注区域，通过上述方法将事件分为关注区域事件和非关注区域事件，完成事件的分类；4)在视频摘要中生成非关注区域事件，根据由关注区域生成的摘要视频的长度来确定非关注区域的事件在摘要视频中的生成方式。本发明专利技术的方法，避免非关注区域事件的遗漏，同时不会增加生成的视频摘要长度。

【技术实现步骤摘要】
一种视频摘要中非关注区域事件的处理方法
本专利技术属于机器视觉
，涉及一种视频摘要中非关注区域事件的处理方法。
技术介绍
视频摘要中非关注度区域的事件处理是视频摘要系统的重要组成部分，视频摘要就是对视频的内容进行浓缩，通过运动目标检测或其它方式提取视频画面中的运动目标，然后对各个运动目标的轨迹进行分析，将不同目标的轨迹按照某种规则融合在一起，以缩短原始视频的长度。然而，在实际拍摄的监控场景中有时候会不可避免的存在一些非关注区域，这部分区域发生的事件一般不是关注的重点，且情况较为复杂，参与轨迹融合时会影响摘要视频生成的效率和质量。
技术实现思路
本专利技术的目的是提供一种视频摘要中非关注区域事件的处理方法，解决了现有技术中，这部分区域发生的事件一般不是关注的重点，且情况较为复杂，参与轨迹融合时会影响摘要视频生成的效率和质量的问题。本专利技术所采用的技术方案是，一种视频摘要中非关注区域事件的处理方法，按照以下步骤实施：步骤1、选择非关注区域根据需要，通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域；步骤2、提取运动目标设视频帧序列为ft(x,y)，t＝1,2,...,N，t为帧序号，N为视频的总帧数，按照单高斯背景建模方法提取背景图像；步骤3、对事件分类将提取到的目标的外接矩形中属于非关注区域的面积与目标的外接矩形的面积的比，来表示该运动目标和非关注度区域的隶属程度M，公式如下：其中，M为运动目标和非关注区域的隶属程度，S1为目标的外接矩形中属于非关注区域的面积，S2为目标的外接矩形的面积，当M大于某一阈值时，则认为当前提取的运动目标属于非关注区域，否则属于关注区域。定义非关注区域和关注区域的分界线称为直分线，设定直分线上方为非关注区域，直分线下方为关注区域，则直分线与目标的外接矩形包括相交或不相交两种情况，通过上述方法将事件分为关注区域事件和非关注区域事件，完成事件的分类；步骤4、在视频摘要中生成非关注区域事件对于非关注区域只做运动目标提取，若当前帧提取到有运动目标，且该运动目标被判断为在非关注区域中，则将其信息保存起来，根据关注区域生成的摘要视频的长度，来确定非关注区域的事件在摘要视频中的生成方式。本专利技术的有益效果是，在生成视频摘要的过程中，设置相应的非关注区域，对该区域发生的事件，通过采用胶片剪辑、抛帧等处理方法，使之在摘要视频中有效生成，生成对应的视频摘要，能够提高摘要视频的生成质量。本专利技术方法将视频中的事件加以分类，分为关注区域事件和非关注区域事件，与通常的方法不同(非关注区域的事件不在视频摘要中生成)，能够全面显示视频中发生的所有事件，避免非关注区域事件的遗漏，同时，不会增加生成的视频摘要长度。附图说明图1是本专利技术选取的一个实际监控场景的视频截图；图2是针对图1选取的非关注区域截图；图3是采用本专利技术方法提取到的前景区域示意图；图4是本专利技术方法采用的模板示意图；图5是本专利技术方法采用的目标的外接矩形示意图；图6是采用本专利技术方法对目标的外接矩形的提取结果截图；图7是采用本专利技术方法去除小区域后提取结果截图；图8是本专利技术方法在目标的外接矩形和直分线不相交情况下目标的外接矩形在直分线上方的示意图；图9是本专利技术方法在目标的外接矩形和直分线不相交情况下目标的外接矩形在直分线下方的示意图；图10是本专利技术方法在直分线和目标的外接矩形相交情况下的直分线与目标的外接矩形左边界及上边界相交示意图；图11是本专利技术方法在直分线和目标的外接矩形相交情况下的直分线与目标的外接矩形左边界及右边界相交示意图；图12是本专利技术方法在直分线和目标的外接矩形相交情况下的直分线与目标的外接矩形上边界及下边界相交示意图；图13是本专利技术方法在直分线和目标的外接矩形相交情况下的直分线与目标的外接矩形下边界及右边界相交示意图。具体实施方式下面结合附图和具体实施方式对本专利技术进行详细说明。本专利技术所述的非关注区域，是指因监控相机视角所限，某些区域的运动目标过小或者遮挡严重的区域，这些目标属于视觉无参考意义的部分，因此将其设置为非关注区域，对落入非关注区域的运动目标一般不列入摘要事件之中。本专利技术所述的视频摘要中非关注区域事件的处理方法，按照以下步骤实施：步骤1、选择非关注区域如图1所示，在实际使用过程中，所架设的摄像头存在一定倾角拍摄时，在视频画面中近景会比较大，而远景会相对较小。监控者主要关注的是道路上发生的事件，但是由于拍摄时摄像头有一定的倾角，较远区域就不可避免的拍摄到路面以外的画面，远处的事物就有可能有一些不关注的区域进入监控画面，如图1中左上角、右上角的画面部分，称这样的区域为非关注区域。如图2所示，这些非关注区域一般在视频画面的左上角和右上角，所以就可根据需要通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域，该黑斜线与水平方向的夹角θ优选30°-60°(该黑斜线即为图8-图13描述中所述的直分线)。步骤2、提取运动目标设视频帧序列为ft(x,y)，t＝1,2,...,N，t为帧序号，N为视频的总帧数，按照单高斯背景建模方法提取背景图像，单高斯建模方法具体步骤如下：2.1)初始化背景图像计算一段时间内视频序列图像f(x,y)中每一像素的平均灰度值μ0及像素灰度的方差由μ0和组成具有高斯分布的初始背景图像Β0，ft(x,y)表示t时刻的实时图像，x＝1,2,...,m，y＝1,2,...,n，如公式(1)所示：其中，2.2)更新背景图像利用视频序列提供的实时信息对背景模型进行更新，Bt-1(x,y)表示t-1时刻的背景图像，Bt(x,y)的更新值通过公式(4)得到：Bt(x,y)＝(1-ρ)·Bt-1(x,y)+ρ·ft(x,y)，(4)其中，背景更新率ρ是一个常数，用来反映当前图像对背景的更新速度，通过单高斯背景建模得到的背景为Bt(x,y)，再采用背景差分法，提取当前帧的前景目标区域为Ot(x,y)，Ot(x,y)的计算公式(5)如下：其中，Th为一个合适的阈值，取值优选为30～60。对提取的运动目标区域，进行形态学处理，得到较为理想的二值图，如图3所示；步骤2.3)通过贴标签的方式获取运动区域的外接矩形，并用其外接矩形描述目标所在的区域，具体包括以下四步：2.3.1)初始化设标签号为Lab＝0，已贴标签数Nlab＝0，标签矩阵g为全0阵，按照从上到下，从左到右的顺序寻找未贴标签的目标点；2.3.2)检查相邻像素的状态：如图4实施例所示，图4中，▲表示已经扫描过的像素，★表示当前像素，█表示未处理的像素，根据模板中的相邻像素的状态进行相应的处理；(本专利技术实施例采用图4的模板，根据需要还可以选用类似的模板)·如果扫描过的像素均为0，则，Lab＝Lab+1，g(i,j)＝Lab，Nlab＝Nlab+1；·如果扫描过的像素标签号相同，则g(i,j)＝Lab；·如果扫描过的像素标签号不相同，例如：Lab2＞Lab1,则g(i,j)＝Lab1，Nlab＝Nlab-1，修改所有为Lab2的像素值，使之为Lab1；2.3.3)将全部的像素进行步骤2.3.2)的处理，直到所有的像素全部处理完成；2.3.4)判断最终的Lab是否满足Lab＝Nlab，如果是，则本文档来自技高网...

【技术保护点】
一种视频摘要中非关注区域事件的处理方法，其特点在于，按照以下步骤实施： 步骤1、选择非关注区域 根据需要通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域； 步骤2、提取运动目标 设视频帧序列为ft(x,y)，t＝1,2,...,N，t为帧序号，N为视频的总帧数，按照单高斯背景建模方法提取背景图像； 步骤3、对事件分类 将提取到的目标的外接矩形中属于非关注区域的面积与目标的外接矩形的面积的比，来表示该运动目标和非关注度区域的隶属程度M，公式如下： 其中，M为运动目标和非关注区域的隶属程度，S1为目标的外接矩形中属于非关注区域的面积，S2为目标的外接矩形的面积，当M大于某一阈值时，则认为当前提取的运动目标属于非关注区域，否则属于关注区域； 定义非关注区域和关注区域的分界线称为直分线，设定直分线上方为非关注区域，直分线下方为关注区域，则直分线与目标的外接矩形包括相交或不相交两种情况，通过上述方法将事件分为关注区域事件和非关注区域事件，完成事件的分类； 步骤4、在视频摘要中生成非关注区域事件 对于非关注区域只做运动目标提取，若当前帧提取到有运动目标，且该 运动目标被判断为非关注区域中，则将其信息保存起来，根据由关注区域生成的摘要视频的长度来确定非关注区域的事件在摘要视频中的生成方式，即成。...

【技术特征摘要】
1.一种视频摘要中非关注区域事件的处理方法，其特征在于，按照以下步骤实施：步骤1、选择非关注区域根据需要通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域；步骤2、提取运动目标设视频帧序列为ft(x,y)，t＝1,2,...,N，t为帧序号，N为视频的总帧数，按照单高斯背景建模方法提取背景图像，具体步骤如下：2.1)初始化背景图像计算一段时间内视频序列图像中每一像素的平均灰度值μ0及像素灰度的方差由μ0和组成具有高斯分布的初始背景图像B0，表示ts时刻的实时图像，x＝1,2,...,m，y＝1,2,...,n，如公式(1)所示：其中，2.2)更新背景图像利用视频序列提供的实时信息对背景模型进行更新，Bt-1(x,y)表示t-1时刻的背景图像，Bt(x,y)的更新值通过公式(4)得到：Bt(x,y)＝(1-ρ)·Bt-1(x,y)+ρ·ft(x,y)，t＝1,2,...,N(4)其中，背景更新率ρ是一个常数，用来反映当前图像对背景的更新速度，通过单高斯背景建模得到的背景为Bt(x,y)，再采用背景差分法，提取当前帧的前景目标区域为Ot(x,y)，Ot(x,y)的计算公式(5)如下：其中，Th为一个合适的阈值，取值为30～60；对提取的运动目标区域，进行形态学处理，得到二值图；步骤2.3)通过贴标签的方式获取运动区域的外接矩形，并用其外接矩形描述目标的所在的区域，具体包括以下四步：2.3.1)初始化设标签号为Lab＝0，已贴标签数Nlab＝0，标签矩阵g为全0阵，按照从上到下，从左到右的顺序寻找未贴标签的目标点；2.3.2)检查相邻像素的状态：设定▲表示已经扫描过的像素，★表示当前像素，█表示未处理的像素，根据模板中的相邻像素的状态进行相应的处理；如果扫描过的像素均为0，则，Lab＝Lab+1，g(i,j)＝Lab，Nlab＝Nlab+1；如果扫描过的像素标签号相同，则g(i,j)＝Lab；如果扫描过的像素标签号不相同，例如：Lab2＞Lab1,则g(i,j)＝Lab1，Nlab＝Nlab-1，修改所有为Lab2的像素值，使之为Lab1；2.3.3)将全部的像素进行步骤2.3.2)的处理，直到所有的像素全部处理完成；2.3.4)判断最终的Lab是否满足Lab＝Nlab，如果是，则贴标签处理完成；如果不是，则表明已贴标签存在不连号情况，这时需要进行一次编码整理，消除不连续编号的情况，经过上述的处理后，在新的标签图中就形成连续的标签号，之后利用标签信息求出各个目标的外接矩形，假如要求取标签值为k目标的外接矩形，外接矩形的位置采用区域的左上点(xmin,ymin)和右下点(xmax,ymax)描述，椭圆区域为标签为k的区域，左上点和右下点的计算公式如下：xmin＝min(j),g(i,j)＝k，(6)ymin＝min(i),g(i,j)＝k，(7)xmax＝max(j),g(i,j)＝k，(8)ymax＝max(i),g(i,j)＝k，(9)通过对目标区域的外接矩形的面积进行判断，去除面积较小的区域即可去除一部分噪声，目标区域的外接矩形面积S的计算公式为：S＝(xmax-xmin+1)×(ymax-ymin+1)...

【专利技术属性】
技术研发人员：朱虹，张静波，邢楠，苟荣涛，权甲，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61