用于智能视频删减的方法和设备技术

根据至少一个示例实施例，删减视频数据的方法和相应的装置包括基于与所述视频数据的内容相关联的短期的和长期的变化，检测视频数据的视频帧内的运动区域。然后，基于所检测到的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式，识别与所述视频数据的内容相关联的运动事件。基于所识别的运动事件，确定用于储存所述视频数据的视频帧的储存模式。视频帧根据所确定的储存模式而储存。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
未压缩的视频数据是一系列的视频帧或图像。如此，储存视频数据通常与大的存储器消耗相关联。许多视频应用涉及储存大量的视频数据。例如，视频监视系统通常被设计成不断地捕捉视频数据并且储存捕捉的视频以用于需要的任何时候的潜在的未来访问。
技术实现思路
在涉及大量的视频内容的储存的视频应用中，可用的存储器容量通常对可以储存多少视频数据施加限制。在这样的情况中，识别相对较高重要性的视频内容并且优先其储存是有用的。根据至少一个示例实施例，用于删减视频数据的方法和相应的设备包括基于与所述视频数据的内容相关联的短期的和长期的变化检测视频数据的视频帧中的运动区域。基于所检测到的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式，识别与所述视频数据的内容相关联的运动事件。然后，基于所识别的运动事件，确定所述视频数据的视频帧的储存时段。视频帧根据所确定的储存时段而储存。过滤后的运动区域也被识别。例如，过滤后的区域与重复的运动相关联。如此，在已经识别的运动区域内的并且与重复的运动相关联的子区域被识别。与重复的运动相关联的子区域然后被从已经识别的运动区域排除，得到过滤后的运动区域。如果捕捉视频数据的相机不是固定的，例如，旋转的视频相机，则由于相机运动导致的视频数据的内容中的变化可以被估计和过滤。根据至少一个示例实施例，用于运动区域和过滤后的运动区域的运动检测基于单独的检测时间段而进行。在检测时间段中，对于每个相应的视频帧产生一个或多个运动描述符。例如，对于每个视频帧，基于相应的识别的运动区域产生第一描述符，并且基于相应的过滤后的运动区域产生第二描述符。运动描述符包括在每个视频帧内的运动区域的分布的指示、在每个视频帧内的运动区域的相对量的指示和/或在单个视频块内的运动像素的最大数量。一旦产生运动描述符，分析在单独的分析时间段内的视频帧，并且确定每个分析时间段内的变化模式的一个或多个指示符。确定的指示符被储存以用在识别所述运动事件中。基于一个或多个阈值识别运动事件。例如，阈值可以包括运动的最小时段、最小运动等级和两个连续的运动事件之间的最大间隙时段。根据一个示例方面，对于每个分析时间端适应性地确定阈值。例如，在分析时间段内基于默认的阈值初始地识别运动事件。如果识别的运动事件的数量被认为太高，则默认的阈值被提高并且重复识别运动事件的过程。但是，如果识别的运动事件被认为太少，则默认的阈值被降低，并且重复识别运动事件的过程。根据至少一个示例实施例，运动事件被分级。基于运动事件的分级，确定视频帧的储存时段。例如，与运动事件相关联的等级越高，一个或多个相应的视频帧被储存地越久。附图说明以上将从如在附图中所示出的本专利技术的示例实施例的下列更具体的描述中变得显而易见，附图中贯穿不同的视图，相似的附图标记指代相同的部件。附图未必是按比例的，而是将重点放在示出本专利技术的实施例。图1是根据至少一个示例实施例示出视频监视系统的图；图2是根据至少一个示例实施例示出删减视频数据的方法的流程图；图3是根据至少一个示例实施例示出识别运动块以用于过滤的方法的流程图；图4是根据至少一个示例实施例示出排序运动事件的方法的流程图；以及图5是根据至少一个示例实施例示出储存视频数据和相应的存储器消耗的模式的表。具体实施方式本专利技术的示例实施例的描述如下。图1是根据至少一个示例实施例示出视频监视系统100的图。视频监视系统100包括一个或多个相机、例如101a-101d、处理装置110和存储装置120。处理装置110可以是计算机装置，例如个人计算机、膝上型计算机、服务器、平板机、手持装置等等，或者可以是具有处理器和其中储存了计算机代码指令的存储器的计算装置。例如，处理装置110可以是嵌入在(一个或多个)相机、例如101a-101d中的处理器，或可以是被配置为储存和分析由(一个或多个)相机、例如101a-101d捕捉的视频数据的视频服务器。储存装置120是被配置为储存由例如101a-101d的(一个或多个)相机记录的视频数据的存储器装置，例如外部存储器装置、服务器等等。根据一个示例实现方式，处理装置110和储存装置120是同一电子设备的组件。可替代地，处理装置110和储存装置120实现在相机101a-101d的一个或每一个中。甚至根据另一个实现方式，例如101a-101d的(一个或多个)相机、处理装置110和储存装置120通过诸如局域网、广域网、其组合等的通信网络相互耦接。例如101a-101d的(一个或多个)相机可以通过有线或者无线链路105耦接到处理装置110或储存装置120。在视频监视系统100中，例如101a-101d的(一个或多个)相机通常不断地捕捉视频数据。记录的视频数据通常储存一段时间以用于在需要时的潜在的访问。视频数据储存的越久，提供对之前记录的事件的访问的可能性越大。如此，设计例如100的视频监视系统的难题在于给定硬件储存容量，存尽可能多的感兴趣的视频内容。具体而言，一天的记录的视频数据产生将要储存的数百万的视频帧，或者相当于十亿字节的视频数据。给定监视系统100的或者等同的储存装置120的存储器储存容量，目标是储存尽可能多的感兴趣的视频内容，并且因此保存尽可能多的感兴趣的事件的记录。储存所有记录的视频帧导致储存感兴趣的视频内容也储存不具有感兴趣的事件的视频内容。如此，储存不具有感兴趣的事件的视频内容消耗否则将可用于储存指示感兴趣的事件的视频内容的存储空间。视频监视系统100的用户通常想要保存感兴趣事件的记录尽可能最长的时间段。此外，简单地储存帧内(I帧)以及丢弃帧间预测(P帧)不提供用于访问之前的感兴趣事件的足够的存储信息。根据至少一个示例实施例，分析捕捉的视频数据，并且基于运动或时间变化的从捕捉的视频数据得到的信息识别运动事件。这里，运动事件被定义为其中在相邻视频帧之上几乎不断地检测到显著运动的视频帧的序列或时间段。运动事件可包括一个或多个其中没有检测到显著运动的相对较短的时间段。得到的运动信息包括原始的和过滤后的运动信息。原始的运动信息包括基于从捕捉的视频数据检测的短期和长期的变化而确定的运动信息。通过从该原始的运动中排除至少重复的运动而产生过滤后的运动信息。识别的运动事件被用于确定储存模式，相应的帧的视频根据该存储模式被储存。例如，运动事件越相关，相应的视频帧储存在储存装置120中越久。根据一个示例实现方式，识别的视频事件按照相关性或重要性通过基于相应的运动信息的无监督的学习而被分类或分级(rank)。用于每一个运动事件的分类或分级的信息然后被用于确定用于与相同的运动事件相关联的视频帧的储存模式。给定储存容量，所确定的储存模式使得相关的或信息丰富的视频数据的储存能够比典型的视频删减(prune)技术长久得多。图2是示出根据至少一个示例实施例的删减视频数据的方法200的流程图。通过例如101a-101d的(一个或多个)相机捕捉的视频数据可以直接储存在储存装置120中或在被储存在储存装置120之前被转发到处理装置110用于处理。在块210处，基于与当前视频帧相关联的短期和长期的时间变化而检测原始的运动区域、例如像素。长期的变化可以使用诸如高斯混合模型(GMM)、移动平均等的背景减除技术来检测。短期的变化可以例如通过从当前视频帧中减去本文档来自技高网...

【技术保护点】
一种删减视频数据的方法，包括：由计算机装置基于与所述视频数据的内容相关联的短期的和长期的变化，检测在所述视频数据的视频帧内的运动区域；基于所检测到的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式，识别与所述视频数据的内容相关联的运动事件；以及基于所识别的运动事件，确定用于所述视频数据的视频帧的储存时段。

【技术特征摘要】
【国外来华专利技术】1.一种删减视频数据的方法，包括：由计算机装置基于与所述视频数据的内容相关联的短期的和长期的变化，检测在所述视频数据的视频帧内的运动区域；基于所检测到的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式，识别与所述视频数据的内容相关联的运动事件；以及基于所识别的运动事件，确定用于所述视频数据的视频帧的储存时段。2.如权利要求1所述的方法，还包括根据确定的储存时段储存所述视频帧。3.如权利要求1所述的方法，还包括识别所述过滤后的运动区域。4.如权利要求3所述的方法，其中识别所述过滤后的运动区域包括：识别在所识别的运动区域内的与重复的运动相关联的子区域；以及识别所述过滤后的运动区域作为排除与重复的运动相关联的子区域的识别的运动区域。5.如权利要求1所述的方法，还包括产生用于所述视频数据的每一帧的一个或多个运动描述符。6.如权利要求5所述的方法，其中产生用于所述视频数据的每一帧的一个或多个运动描述符包括：基于相应的识别的运动区域产生用于每个视频帧的第一描述符；以及基于相应的过滤后的运动区域产生用于每个视频帧的第二描述符。7.如权利要求5所述的方法，其中每个运动描述符包括：每个视频帧内的运动区域的分布的指示；以及每个视频帧内的运动区域的相对量的指示。8.如权利要求1所述的方法，还包括：确定与所述视频数据相关联的变化模式的一个或多个指示符；以及储存所确定的变化模式的一个或多个指示符以在识别所述运动事件中使用。9.如权利要求5所述的方法，其中识别所述运动事件包括基于产生的一个或多个运动描述符以及一个或多个阈值来识别所述运动事件。10.如权利要求9所述的方法，其中所述一个或多个阈值包括以下的至少一个：运动的最小时段；最小运动等级；以及两个连续的运动事件之间的最大间隙时段。11.如权利要求9所述的方法，其中所述一个或多个阈值的至少一个是自适应的阈值。12.如权利要求11所述的方法，其中迭代地识别所述至少一个的自适应的阈值和所述运动事件。13.如权利要求1所述的方法，还包括对所识别的运动事件分级。14.如权利要求13所述的方法，其中基于过滤后的运动区域而识别的运动事件比基于未过滤的运动区域而检测的运动事件分级更高。15.如权利要求13所述的方法，其中确定视频帧的所述储存时段包括基于运动事件的分级来确定与该运动事件相关联的视频帧的储存时段。16.如权利要求15所述的方法，其中与高分级的运动事件相关联的视频帧比与低分级的运动事件相关联的视频帧储存更长的时段。17.一种用于删减视频数据的设备，包括：处理器；以及存储器，在其上储存有计算机代码指令，所述存储器和在其上储存有计算机代码指令的所述处理器被配置为使得该设备：基于与所述视频数据的内容相关联的短期的和长期的变化来检测在所述视频数据的视频帧内的运动区域；基于所检测的运动区域、相应的过滤后的运动区域和与所述视频数据相关联的变化模式来识别与所述视频数据的内容相关联的运动事件；以及基于所识别的运动事件来确定用于所述视频数据的视频帧的储存时段。18.如权利要求17所述的设备，其中所述处理器和在其上储存有计算机代码指令的所述存储器还被配置为使得所述设备根据所确定的储存时段来储存所述视频帧。19.如权利要求17所述的...

【专利技术属性】
技术研发人员：L王，F阿格达西，GM米勒，SJ米切尔，
申请(专利权)人：派尔高公司，
类型：发明
国别省市：美国;US