基于对象的监控视频浓缩方法技术

本发明专利技术公开一种基于对象的监控视频浓缩方法，先从监控视频中获取每一视频帧的前景图像和背景图像，将背景图像保存于数据库中，提取前景图像的识别特征，借助前景缓存，依次对比前景图像与前景缓存中所有前景图像的识别特征的特征距离，完成对所有前景图像的对象进行编号，使得同一对象对应唯一的同一编号，然后根据同一对象的位置及颜色信息，计算同一对象的运动方向值、主颜色，并将计算结果及前景图像保存入数据库，最后根据浓缩策略，从数据库中提取相应对象的前景图像及背景图像，合成浓缩后的视频。本发明专利技术能够对处于不同时间及空间的对象进行浓缩，提高监控视频的浓缩率，提高监控效率。

【技术实现步骤摘要】
基于对象的监控视频浓缩方法
本专利技术涉及一种基于对象的监控视频浓缩方法，属于视频图像处理及模式识别

技术介绍
随着视频监控技术的发展，为降低监控成本，提高监控效率，监控视频浓缩技术应运而生，视频监控浓缩是通过在时间及空间上压缩原始视频，使浓缩后视频长度远短于原始视频的视频概要，现有的监控视频浓缩方法主要有以下两种：一种是自适应抽帧法，先通过背景建模分离出监控视频中的活动前景，以限定的浓缩条件丢弃或保留特定的帧，如丢弃活动率低及不感兴趣的帧，保留活动率比较高且用户感兴趣的帧，保留某些视频片段以代表视频内容，浓缩条件例如可以是声音、摄像头的运动、物体的运动、颜色等信息；该方法的问题是：难以满足所有用户的需求，当遇到长时间存在活动前景的视频时浓缩率不高。第二种是基于关键帧的方法，任意或按照一定标准选取关键帧，例如根据事件或目标行为变化界定关键帧，前者对比当前帧与上一关键帧的全局变化幅度判定当前帧是否为新事件的起始帧，后者根据当前帧活动物体的特征与上一关键帧特征的距离大小决定该帧是否为新关键帧。该方法的问题是：提取的关键帧过少时，浓缩视频会丢失原始视频中很多重要的动态信息，而提取的关键帧过多时，无法达到良好的视频浓缩效果。
技术实现思路
鉴于上述原因，本专利技术的目的在于提供一种基于对象的监控视频浓缩方法，通过对处于不同时间、空间的对象进行浓缩处理，提高监控视频的浓缩率。为实现上述目的，本专利技术采用以下技术方案：一种基于对象的监控视频浓缩方法，包括以下步骤：S1：从监控视频中提取背景图像和包含活动目标的前景掩膜图像，将该背景图像保存于数据库中，并从该前景掩膜图像分离出前景图像；S2：将前景图像按照对象进行分类，并为不同类的对象分配对应且唯一的对象编号；S3：针对一前景区间中的若干前景图像，根据对象的位置及颜色信息，计算同一对象的运动方向值、主颜色，并将计算结果及前景图像保存入数据库；该前景区间指示连续的多个前景图像；S4：根据浓缩策略，从该数据库中获取相应对象的前景图像及背景图像，合成浓缩后的视频。所述步骤S1中，从所述前景掩膜图像中分离所述前景图像的方法是：将所述前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，该矩形框确定的区域为所述前景图像，该掩膜图像为所述前景掩膜图像中像素值为255的点所形成的连通域。所述步骤S2中，包括：S21：从所述前景图像中提取RGB直方图作为识别特征；S22：从所述前景图像中提取LBP直方图作为识别特征；S23：将所述前景图像的RGB直方图和LBP直方图进行串联，得到前景图像的识别特征；S24：分配前景缓存区，该前景缓存区用于缓存具有对象编号的前景图像、前景图像的识别特征；S25：利用该前景缓存区，对所有前景图像的对象进行对象编号。所述步骤S25中，包括将当前前景图像的识别特征与所述前景缓存中所有前景图像的识别特征，按照公式(4)，依次计算特征距离，其中，p和q分别为当前前景图像的识别特征和前景缓存中的前景图像的识别特征，n为特征维数，判定当前前景图像与前景缓存中前景图像的特征距离最小的前景图像为同一对象，将当前前景图像的对象编号设定为该前景图像的对象编号，将编号后的前景图像保存于所述前景缓存区中。所述步骤S3中，包括：S31：计算同一对象的运动方向值；针对对象x、前景图像序列i＝0，1，…N，其运动方向值根据下列公式确定：其中，l为设定的前景区间长度，m表示第m个前景区间，为p1点与p2点形成的向量的方向，p1、p2为矩形框中心点，为前景图像外接矩形框的中心点；S32：计算同一对象的主颜色；将所述前景图像转至HSV颜色空间，结合一像素值与主颜色的转换对照表，选取出现频率最高的三种颜色作为对象的主颜色。所述步骤S4中，包括：S41：从监控视频中，提取包含对象的连续视频帧的有效视频序列，S42：对所有有效视频序列按序列长度从大到小排序，将所有序列的状态初始化为可用状态；S43：从排序后的有效视频序列中，选取长度最大的有效视频序列作为母序列，将该母序列的状态置为不可用状态；S44：将其余有效视频序列作为插入序列依次与该母序列进行比较、融合，得到所述浓缩策略。所述步骤S44中，遍历所有可用状态的有效视频序列，从中选取长度最大的有效视频序列作为所述插入序列与所述母序列相比较、融合，从所述母序列的第h帧开始与所述插入序列的每一帧进行融合，若从所述插入序列的第一帧开始，所述母序列的第h+i帧画面与所述插入序列第i帧画面的掩膜图像叠加后，总掩膜面积满足一定条件时，判定两画面可融合，其中i＝1，…，m，m为插入序列的长度；如果所述插入序列的m帧遍历完毕，且其每一帧均可与所述母序列的第h帧融合，则标记所述母序列的第h帧与该插入序列可融合的标记位，并记录融合位置，然后将该插入序列的状态置为不可用状态；如果所述插入序列的m帧遍历完毕，且存在插入序列的任意一帧不可与所述母序列融合，则将所述母序列初始比较位置后移J帧，从所述母序列的第h＝h+J帧开始，将该插入序列与所述母序列进行融合，直到lB-h＜m仍不能实现插入序列与所述母序列融合时，将该插入序列拼接至所述母序列末尾，形成新的母序列；lB为母序列的长度；重复上述过程，直至可用状态的有效视频序列与所述母序列比较、融合完毕，得到所述浓缩策略。所述步骤S21中，从所述前景图像中提取RGB直方图作为识别特征的方法是：将所述前景图像按照“田”字分为四个区域，对每个区域的R、G、B三个颜色通道，遍历其所有像素点，将所有像素点按其像素值所属区间投影到具有p个区间的RGB直方图Hic中，其中，下标i表示RGB直方图所处区域的编号，c表示颜色通道；将计算得到的四个区域对应的四个RGB直方图串联成一个RGB直方图，并对串联后的RGB直方图进行归一化处理，如公式(2)所示：其中H(i)为RGB直方图在第i个区域的值，Hn(i)为归一化后RGB直方图在第i个区域的值，归一化处理后的RGB直方图Hn即为前景图像的RGB直方图。所述步骤S41中，所述有效视频序列的定义为：{Fi|i∈[s，e]，Count(Fi)＞Tp}(6)其中，s，e分别为有效视频序列起始及结束帧号，Count(Fi)表示第Fi帧掩膜图像像素值为255的像素点个数，Tp为设定的阈值。所述步骤S25中，若多个前景图像的对象编号存在冲突，将特征距离较大的当前前景图像重新在所述前景缓存中匹配特征距离最小的前景图像，以重新编号，直至当前帧所有前景图像的对象编号无冲突为止。本专利技术的优点是：1、能够对处于不同时间及空间的对象进行浓缩，提高监控视频的浓缩率，提高监控效率；2.以每个对象的不同特征信息作为浓缩过滤条件，确定浓缩后视频的内容，使得浓缩具有针对性，提高浓缩效率。附图说明图1是本专利技术的方法流程示意图。图2是本专利技术的从前景掩膜图像中分离前景图像的过程示意图。图3是本专利技术的具体实施例的颜色特征提取区域示意图。图4是本专利技术的像素值与主颜色的转换对照表。图5是本专利技术的运动方向区间对照示意图。图6是本专利技术的将RGB直方图与LBP直方图进行串联的过程示意图。具体实施方式以下结合附图和实施例对本专利技术作进一步详细的说明。图本文档来自技高网...

【技术保护点】
基于对象的监控视频浓缩方法，其特征在于，包括以下步骤：S1：从监控视频中提取背景图像和包含活动目标的前景掩膜图像，将该背景图像保存于数据库中，并从该前景掩膜图像分离出前景图像；S2：将前景图像按照对象进行分类，并为不同类的对象分配对应且唯一的对象编号；S3：针对一前景区间中的若干前景图像，根据对象的位置及颜色信息，计算同一对象的运动方向值、主颜色，并将计算结果及前景图像保存入数据库；该前景区间指示连续的多个前景图像；S4：根据浓缩策略，从该数据库中获取相应对象的前景图像及背景图像，合成浓缩后的视频。

【技术特征摘要】
1.基于对象的监控视频浓缩方法，其特征在于，包括以下步骤：S1：从监控视频中提取背景图像和包含活动目标的前景掩膜图像，将该背景图像保存于数据库中，并从该前景掩膜图像分离出前景图像；S2：将前景图像按照对象进行分类，并为不同类的对象分配对应且唯一的对象编号；S3：针对一前景区间中的若干前景图像，根据对象的位置及颜色信息，计算同一对象的运动方向值、主颜色，并将计算结果及前景图像保存入数据库；该前景区间指示连续的多个前景图像；S4：根据浓缩策略，从该数据库中获取相应对象的前景图像及背景图像，合成浓缩后的视频。2.根据权利要求1所述的基于对象的监控视频浓缩方法，其特征在于，所述步骤S1中，从所述前景掩膜图像中分离所述前景图像的方法是：将所述前景掩膜图像与其对应的原始帧图像相重叠，生成彩色前景掩膜图像，利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框，该矩形框确定的区域为所述前景图像，该掩膜图像为所述前景掩膜图像中像素值为255的点所形成的连通域。3.根据权利要求2所述的基于对象的监控视频浓缩方法，其特征在于，所述步骤S2中，包括：S21：从所述前景图像中提取RGB直方图作为识别特征；S22：从所述前景图像中提取LBP直方图作为识别特征；S23：将所述前景图像的RGB直方图和LBP直方图进行串联，得到前景图像的识别特征；S24：分配前景缓存区，该前景缓存区用于缓存具有对象编号的前景图像、前景图像的识别特征；S25：利用该前景缓存区，对所有前景图像的对象进行对象编号。4.根据权利要求3所述的基于对象的监控视频浓缩方法，其特征在于，所述步骤S25中，包括将当前前景图像的识别特征与所述前景缓存中所有前景图像的识别特征，按照公式(4)，依次计算特征距离，其中，p和q分别为当前前景图像的识别特征和前景缓存中的前景图像的识别特征，n为特征维数，判定当前前景图像与前景缓存中前景图像的特征距离最小的前景图像为同一对象，将当前前景图像的对象编号设定为该前景图像的对象编号，将编号后的前景图像保存于所述前景缓存区中。5.根据权利要求4所述的基于对象的监控视频浓缩方法，其特征在于，所述步骤S3中，包括：S31：计算同一对象的运动方向值；针对对象x、前景图像序列fix，i＝0，1，…N，其运动方向值根据下列公式确定：其中，l为设定的前景区间长度，m表示第m个前景区间，为p1点与p2点形成的向量的方向，p1、p2为矩形框中心点，P(fix)为前景图像fix外接矩形框的中心点；S32：计算同一对象的主颜色；将所述前景图像转至HSV颜色空间，结合一像素值与主颜色的转换对照表，选取出现频率最高的三种颜色作为对象的主颜色。6.根据权利要求5所述的基于对象的监控视频浓缩方法，其特征在于，所述步骤S4中，包括：S41：从监控视频中，提取包含对象的连续视频帧的有...

【专利技术属性】
技术研发人员：付景林，孟汉峰，王芊，丁明锋，刘红云，李永丰，姜晓伟，肖静晗，赵志诚，刘子骏，杨永强，袁瀚，
申请(专利权)人：北京大唐高鸿数据网络技术有限公司，
类型：发明
国别省市：北京,11