基于物体尺寸自适应的视频浓缩方法技术

本发明专利技术公开了一种基于物体尺寸自适应的视频浓缩方法，用于解决现有视频浓缩方法容易出现活动物体相互碰撞遮挡的技术问题。技术方案是采用聚合通道特征检测算法和背景减除算法对原视频中的活动物体进行检测和提取，再通过设计新的能量函数来确定活动物体在浓缩视频中的时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外，还针对物体尺寸的缩小操作加入了尺寸缩小惩罚项，以避免活动物体因尺寸过度缩小而变得难以辨识；最后，采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算出的时间位置和物体尺寸无缝地融合进背景视频中。本发明专利技术方法有效地减少了浓缩视频中活动物体相互碰撞遮挡的情况。

【技术实现步骤摘要】
基于物体尺寸自适应的视频浓缩方法
本专利技术涉及一种视频浓缩方法，特别是涉及一种基于物体尺寸自适应的视频浓缩方法。
技术介绍
文献“Y.Pritch,A.Rav-Acha,andS.Peleg,NonchronologicalVideoSynopsisandIndexing.IEEETransactionsonPatternAnalysisandMachineIntelligence,30(11):1971-1987,2008”提出了一种基于物体的视频浓缩方法。该方法首先通过背景减除算法把活动的物体从背景中识别并提取出来，然后通过在一小段时间内同时展现多个活动物体来压缩原视频的长度。同时，为了使浓缩后的视频不会出现一些不合理的情况，该方法设计了特定的能量函数来限制各个活动物体在浓缩视频的时间轴上的位置。此能量函数主要包括三个惩罚项，而每个惩罚项对应着浓缩视频中一种不合理的情况。这三种不合理的情况分别是活动物体信息的丢失、物体间的相互碰撞遮挡现象和物体间相对时间关系的损坏。通过最小化能量函数的函数值，该方法能够将浓缩视频中的不合理情况降到最低。然而，当原视频的浓缩率较大时，要同时展现出多个活动物体，就会不可避免地产生物体相互碰撞遮挡的现象。
技术实现思路
为了克服现有视频浓缩方法容易出现活动物体相互碰撞遮挡的不足，本专利技术提供一种基于物体尺寸自适应的视频浓缩方法。该方法采用聚合通道特征检测算法和背景减除算法对原视频中的活动物体进行检测和提取，可以有效降低前景、背景分离时产生的噪声，从而得到更精确的活动物体分割结果；之后通过设计新的能量函数来确定活动物体在浓缩视频中的时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外，还针对物体尺寸的缩小操作加入了尺寸缩小惩罚项，以避免活动物体因尺寸过度缩小而变得难以辨识；最后，该方法采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算出的时间位置和物体尺寸无缝地融合进背景视频中。本专利技术方法可以有效地减少浓缩视频中活动物体相互碰撞遮挡的情况。本专利技术解决其技术问题所采用的技术方案是：一种基于物体尺寸自适应的视频浓缩方法，其特点是采用以下步骤：步骤一、对于输入视频数据的每一帧合成对应的背景图像，背景图像合成公式为式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帧，n表示所选取的视频序列的总帧数。步骤二、使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将每个活动物体标出。使用背景减除算法将每一帧视频与其对应的合成背景相减，根据差值对活动物体进行提取Diff(x,y,t)＝|I(x,y,t)-B(x,y,t)|(2)式中，x,y分别是图像像素的横、纵坐标，t是当前帧的帧序号，Diff(x,y,t)表示当前帧中位于坐标(x,y)处的像素与对应背景像素之差的绝对值。若绝对值大于阈值τ，则认为当前像素为前景像素，τ取值为20。步骤三、各活动物体在浓缩视频中的时间位置和缩小尺寸通过求解特定的能量函数确定，能量函数为E(M)＝Ea(M)+Ec(M)·Er(M)+Et(M)(3)式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，所述能量函数由四个惩罚项组成。各个惩罚项的具体如下：①Ea(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的程度，其具体定义为式中，O表示所有活动物体的集合，o表示其中的一个活动物体，o*表示物体o在浓缩视频中的映射，o'表示属于物体o而没有被包含进浓缩视频的观测序列，Dif(o′)表示当前物体与背景之间的差异。②Ec(M)是活动物体碰撞遮挡惩罚项，计算的是浓缩视频中物体之间重叠面积的总和，用来评价活动物体相互碰撞遮挡的程度，其具体定义为式中，α是一个参数，用于调节该惩罚项在整个能量函数中的重要性，p表示不同于物体o的另一活动物体，p*表示物体p在浓缩视频中的映射，box()表示一个指定物体的边界框，A()表示一块指定区域的面积。③Er(M)是活动物体尺寸缩小惩罚项，用来限制物体的过度缩小，其具体定义为式中，X是所有活动物体缩小系数的集合，xo是物体o所对应的一个缩小系数，Ao是物体o的原始面积，物体o缩小后的尺寸Ao是与的乘积，η是一参数，用于调节活动物体的原始面积对整个尺寸缩小惩罚项的影响。④Et(M)是物体间相对时间关系损坏惩罚项，用于在浓缩视频中保护活动物体间的相对时间关系，其具体定义为Et(M)包括三个子项，每个子项对应着一种特定的情况。在第一子项的条件中，to和tp分别表示物体o和p在原视频中活动的时间段，to∩tp≠φ表示两者的活动时间有交集，D(o,p)是衡量物体o和p相对空间关系的函数，其定义为式中，d(o,p,t)表示物体o和p在时间t时的欧氏距离，min{}表示一个集合中的最小值，ω为一参数，用于调节距离衡量尺度。T(o,p)是衡量物体o和p在浓缩视频中时间关系损坏程度的函数，其定义为式中，和分别表示物体o和p在原视频中的出现时间，和分别表示物体o和p的映射o*、p*在浓缩视频中的出现时间。在第②子项的条件中，to∩tp＝φ表示物体o和p的活动时间没有有交集，T'(o,p)用来衡量在这种情况下，物体o和p的时间关系是否遭到了破坏，其定义为只有当T'(o,p)>0时才表示两者的相对时间关系得以保留。在第③子项中，当两活动物体的活动时间段既没有交集，并且两者的相对时间关系又遭到破坏时，使用下式对这种情况进行惩罚式中，σ为一参数，用于调节第③子项在整个活动物体尺寸缩小惩罚项中的重要性。步骤四、生成浓缩视频。首先，根据用户自定义的浓缩视频的长度，对步骤一中合成的背景图像中有物体活动的子集进行均匀降采样，将降采样得到的背景图像按照时间顺序拼接起来得到浓缩视频的背景视频。然后，使用泊松图像编辑方法，按照步骤三求解的映射结果，将各个活动物体融合进背景视频中，得到浓缩视频。本专利技术的有益效果是：该方法采用聚合通道特征检测算法和背景减除算法对原视频中的活动物体进行检测和提取，可以有效降低前景、背景分离时产生的噪声，从而得到更精确的活动物体分割结果；之后通过设计新的能量函数来确定活动物体在浓缩视频中的时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外，还针对物体尺寸的缩小操作加入了尺寸缩小惩罚项，以避免活动物体因尺寸过度缩小而变得难以辨识；最后，该方法采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算出的时间位置和物体尺寸无缝地融合进背景视频中。本专利技术方法可以有效地减少浓缩视频中活动物体相互碰撞遮挡的情况。下面结合附图和具体实施方式对本专利技术作详细说明。附图说明图1是本专利技术基于物体尺寸自适应的视频浓缩方法的流程图。具体实施方式参照图1。本专利技术基于物体尺寸自适应的视频浓缩方法具体步骤如下：1.合成背景图像。对于输入的视频数据的每一帧，为其合成对应的背景图像。具体地，对先于当前帧30秒和晚于当前帧30秒的视频序列取均值，使用均值图像作为当前帧所对应的背景。对于原视频起始位置的帧，没有先于其的帧，则只使用晚于其的视频序列；对于原视频末尾的帧，则只使用先于其的视频序列。背景图像合成公式为式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帧，n表示所选取的视频序列的总本文档来自技高网...

【技术保护点】
一种基于物体尺寸自适应的视频浓缩方法，其特征在于包括以下步骤：步骤一、对于输入视频数据的每一帧合成对应的背景图像，背景图像合成公式为B=Σi=1nIn---(1)]]>式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帧，n表示所选取的视频序列的总帧数；步骤二、使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将每个活动物体标出；使用背景减除算法将每一帧视频与其对应的合成背景相减，根据差值对活动物体进行提取Diff(x,y,t)=|I(x,y,t)‑B(x,y,t)|         (2)式中，x,y分别是图像像素的横、纵坐标，t是当前帧的帧序号，Diff(x,y,t)表示当前帧中位于坐标(x,y)处的像素与对应背景像素之差的绝对值；若绝对值大于阈值τ，则认为当前像素为前景像素，τ取值为20；步骤三、各活动物体在浓缩视频中的时间位置和缩小尺寸通过求解特定的能量函数确定，能量函数为E(M)=Ea(M)+Ec(M)·Er(M)+Et(M)        (3)式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，所述能量函数由四个惩罚项组成；各个惩罚项的具体如下：①Ea(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的程度，其具体定义为Ea(M)=Σo∈OΣo′∈(o-o*)Dif(o′)---(4)]]>式中，O表示所有活动物体的集合，o表示其中的一个活动物体，o*表示物体o在浓缩视频中的映射，o'表示属于物体o而没有被包含进浓缩视频的观测序列，Dif(o′)表示当前物体与背景之间的差异；②Ec(M)是活动物体碰撞遮挡惩罚项，计算的是浓缩视频中物体之间重叠面积的总和，用来评价活动物体相互碰撞遮挡的程度，其具体定义为Ec(M)=αΣo,p∈OA(box(o*′)∩box(p*′))---(5)]]>式中，α是一个参数，用于调节该惩罚项在整个能量函数中的重要性，p表示不同于物体o的另一活动物体，p*表示物体p在浓缩视频中的映射，box()表示一个指定物体的边界框，A()表示一块指定区域的面积；③Er(M)是活动物体尺寸缩小惩罚项，用来限制物体的过度缩小，其具体定义为Er(M)=Σxo∈X,o∈Oexp(1xo2)·exp(ηAo)---(6)]]>式中，X是所有活动物体缩小系数的集合，xo是物体o所对应的一个缩小系数，Ao是物体o的原始面积，物体o缩小后的尺寸Ao是与的乘积，η是一参数，用于调节活动物体的原始面积对整个尺寸缩小惩罚项的影响；④Et(M)是物体间相对时间关系损坏惩罚项，用于在浓缩视频中保护活动物体间的相对时间关系，其具体定义为Et(M)包括三个子项，每个子项对应着一种特定的情况；在第一子项的条件中，to和tp分别表示物体o和p在原视频中活动的时间段，to∩tp≠φ表示两者的活动时间有交集，D(o,p)是衡量物体o和p相对空间关系的函数，其定义为D(o,p)=exp(-mint∈to∩tp{d(o,p,t)}/ω)---(8)]]>式中，d(o,p,t)表示物体o和p在时间t时的欧氏距离，min{}表示一个集合中的最小值，ω为一参数，用于调节距离衡量尺度；T(o,p)是衡量物体o和p在浓缩视频中时间关系损坏程度的函数，其定义为T(o,p)=exp(||(tos-tps)-(to*s-tp*s)||)---(9)]]>式中，和分别表示物体o和p在原视频中的出现时间，和分别表示物体o和p的映射o*、p*在浓缩视频中的出现时间；在第②子项的条件中，to∩tp=φ表示物体o和p的活动时间没有有交集，T'(o,p)用来衡量在这种情况下，物体o和p的时间关系是否遭到了破坏，其定义为T′(o,p)=(tos-tps)·(to*s-tp*s)---(10)]]>只有当T'(o,p)>0时才表示两者的相对时间关系得以保留；在第③子项中，当两活动物体的活动时间段既没有交集，并且两者的相对时间关系又遭到破坏时，使用下式对这种情况进行惩罚exp(||to*s-tp*s||/σ)---(11)]]>式中，σ为一参数，用于调节第③子项在整个活动物体尺寸缩小惩罚项中的重要性；步骤四、生成浓缩视频；首先，根据用户自定义的浓缩视频的长度，对步骤一中合成的背景图像中有物体活动的子集进行均匀降采样，将降采样得到的背景图像按照时间顺序拼接起来得到浓缩视频的背景视频；然后，使用泊松图像编辑方法，按照...

【技术特征摘要】
1.一种基于物体尺寸自适应的视频浓缩方法，其特征在于包括以下步骤：步骤一、对于输入视频数据的每一帧合成对应的背景图像，背景图像合成公式为式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帧，n表示所选取的视频序列的总帧数；步骤二、使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将每个活动物体标出；使用背景减除算法将每一帧视频与其对应的合成背景相减，根据差值对活动物体进行提取Diff(x,y,t)＝|I(x,y,t)-B(x,y,t)|(2)式中，x,y分别是图像像素的横、纵坐标，t是当前帧的帧序号，Diff(x,y,t)表示当前帧中位于坐标(x,y)处的像素与对应背景像素之差的绝对值；若绝对值大于阈值τ，则认为当前像素为前景像素，τ取值为20；步骤三、各活动物体在浓缩视频中的时间位置和缩小尺寸通过求解特定的能量函数确定，所述特定的能量函数为E(M)＝Ea(M)+Ec(M)·Er(M)+Et(M)(3)式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，所述能量函数由四个惩罚项组成；各个惩罚项的具体情况如下：①Ea(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的程度，其具体定义为式中，O表示所有活动物体的集合，o表示其中的一个活动物体，o*表示物体o在浓缩视频中的映射，o'表示属于物体o而没有被包含进浓缩视频的观测序列，Dif(o′)表示当前物体与背景之间的差异；②Ec(M)是活动物体碰撞遮挡惩罚项，计算的是浓缩视频中物体之间重叠面积的总和，用来评价活动物体相互碰撞遮挡的程度，其具体定义为式中，α是一个参数，用于调节该惩罚项在整个能量函数中的重要性，p表示不同于物体o的另一活动物体，p*表示物体p在浓缩视频中的映射，box()表示一个指定物体的边界框，A()表示一块指定区域的面积；③Er(M)是...

【专利技术属性】
技术研发人员：李学龙，卢孝强，王之港，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61