一种视频摘要生成方法、装置及视频监控系统制造方法及图纸

本发明专利技术提供一种视频摘要生成方法、装置及视频监控系统，所述方法包括：前端设备确定各监控视频帧中的运动目标对应的slice信息，其中，监控视频帧中的运动目标对应的slice信息包括该运动目标在该监控视频帧中所处的slice区域；所述前端设备将监控视频以及所述slice信息发送给后端设备；所述后端设备根据所述slice信息对接收到的监控视频进行解码，以得到运动目标画面，并根据所述运动目标画面生成视频摘要。应用本发明专利技术实施例可以降低生成摘要视频时解码资源的消耗，提升视频摘要的生成速度。

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种视频摘要生成方法、装置及视频监控系统。
技术介绍
视频摘要(VideoAbstract)，又称视频浓缩，是指视频内容以摘要的方式进行浓缩的一种技术。视频摘要以自动或半自动的方式，先通过运动目标分析，提取运动目标(也可以称为检测目标)，然后对各个运动目标的运动轨迹进行分析，将不同的运动目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。视频摘要在视频分析和基于内容的视频检索中扮演着重要角色。生成视频摘要的过程，一般是对待处理的视频帧进行解码，然后分析画面内容找出检测目标，然后按照一定策略生成摘要画面，最后编码生成摘要码流。视频摘要的目的是为了方便客户快速浏览视频画面，找到关心的内容，因此对摘要内容的生成有一定的速度要求。4小时的原始视频，1小时生成摘要视频，这个就是4倍速的摘要倍数；5小时的原始视频，1小时生成摘要视频，这个就是5倍速的摘要倍数。一般来说，NVR产品能够提供4-5倍速的摘要生成速度，专用的视频摘要服务器能提供40-50倍速的摘要生成速度。在生成高倍数的视频摘要时，实现的倍速越大，消耗的解码性能就越多。对NVR(NetworkVideoRecorder，网络硬盘录像机)产品来说，占用过多的解码资源，会影响正常业务的使用。
技术实现思路
本专利技术提供一种视频摘要生成方法、装置及视频监控系统，以降低后端设备生成摘要视频时解码资源的消耗。根据本专利技术的第一方面，提供一种视频摘要生成方法，应用于视频监控系统，所述视频监控系统包括前端设备和后端设备，所述前端设备的视频监控画面被划分为多个条带slice区域，所述方法包括：前端设备确定各监控视频帧中的运动目标对应的slice信息，其中，监控视频帧中的运动目标对应的slice信息包括该运动目标在该监控视频帧中所处的slice区域；所述前端设备将监控视频以及所述slice信息发送给后端设备；所述后端设备根据所述slice信息对接收到的监控视频进行解码，以得到运动目标画面，并根据所述运动目标画面生成视频摘要。根据本专利技术的第二方面，提供一种视频摘要生成装置，应用于视频监控系统中的前端设备，所述视频监控系统包括前端设备和后端设备，所述前端设备的视频监控画面被划分为多个条带slice区域，所述装置还包括：确定单元，用于确定各监控视频帧中的运动目标对应的slice信息，其中，监控视频帧中的运动目标对应的slice信息包括该运动目标在该监控视频帧中所处的slice区域；发送单元，用于将监控视频以及所述slice信息发送给后端设备，以使所述后端设备根据所述slice信息对接收到的监控视频进行解码，以得到运动目标画面，并根据所述运动目标画面生成视频摘要。根据本专利技术的第三方面，提供一种视频监控系统，包括前端设备和后端设备，所述前端设备的视频监控画面被划分为多个条带slice区域，其中：所述前端设备，用于确定各监控视频帧中的运动目标对应的slice信息，其中，监控视频帧中的运动目标对应的slice信息包括该运动目标在该监控视频帧中所处的slice区域；所述前端设备，还用于将监控视频以及所述slice信息发送给后端设备；所述后端设备，用于根据所述slice信息对接收到的监控视频进行解码，以得到运动目标画面，并根据所述运动目标画面生成视频摘要。应用本专利技术公开的技术方案，通过对前端设备的视频监控画面进行slice区域划分，前端设备确定各监控视频帧中运动目标对应的slice信息，并将监控视频与对应的slice信息一并发送给后端设备，由后端设备根据该slice信息对接收到的监控视频进行解码，以得到运动目标画面，并根据该运动目标画面生成视频摘要，与现有视频摘要方案相比，后端设备在进行解码时，可以根据slice信息针对性地对出现过运动目标的区域进行解码，降低了生成摘要视频时解码资源的消耗，提升了视频摘要的生成速度。附图说明图1是本专利技术实施例提供的一种视频摘要生成方法的流程示意图；图2是本专利技术实施例提供的一种视频摘要生成装置的结构示意图；图3是本专利技术实施例提供的另一种视频摘要生成装置的结构示意图；图4是本专利技术实施例提供的另一种视频摘要生成装置的结构示意图；图5是本专利技术实施例提供的一种视频监控系统的架构示意图。具体实施方式为了使本领域技术人员更好地理解本专利技术实施例中的技术方案，下面先对视频摘要生成的基本原理进行简单说明。视频摘要的输入为一段原始视频录像，输出为一段时间缩短的摘要录像。视频摘要一般分为录像解码、目标检测、背景帧生成、摘要帧生成、摘要编码几个步骤。首先对录像进行解码，并逐帧(或者按照一定帧间隔跳帧)分析视频画面，得到所有运动目标的位置、大小、分类、属性等信息。其中，目标检测也可以由具有智能能力的前端设备(如摄像机)上实时检测，并将检测结果保存在元数据中随码流一起发送到后端设备。后端只需要解析码流的中元数据信息，即可得到运动目标的相关信息(位置、大小等)。按照时间顺序对每帧的运动目标进行分析。基本原则是分析时间前后连续的不同运动目标在空间上的重叠关系，如果是重叠的，则相关视频画面需要按照时间先后关系叠加到背景帧中，如果是不重叠的，则可以同时叠加到背景帧中。按照时间顺序遍历目标序列，找到所有运动目标之间的重叠关系。对整个视频序列进行分段，并找到合适的背景帧。每个分段中的运动目标共享一个背景帧。背景帧的选取方式有很多，最简单的策略是采用分段中第一个运动目标第一次出现的那帧视频画面作为背景帧。分段的方法也有很多，最简单的策略是按照定周期进行分段，比如每隔10分钟进行一次分段。针对每个分段生成摘要视频画面。一般策略是，在每个背景帧上，针对本段的每个运动目标按照时间顺序叠加运动目标序列，生成一组视频序列。空间不重叠的运动目标可以同时叠加在背景帧的不同位置，生成摘要帧序列，空间重叠的运动目标，需要按照时间顺序对生成的摘要视频序列进行编码。为了使本专利技术实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术实施例中技术方案作进一步详细的说明。请参见图1，图1为本专利技术实施例提供的一种视频摘要生成方法的流程示意图，该方法可以应用于视频监控系统，该视频监控系统中可以包括前端设备和后端设备，前端设备的视频监控画面可以划分为多个slice(条带)区域，如图1所示，该视频摘要生成方法可以包括以下步骤：步骤101、前端设备确定各监控视频帧中的运动目标对应的slice信息，其中，监控视频帧中的运动目标对应的slice信息包括该运动目标在该监控视频帧中所处的slice区域。本专利技术实施例中，前端设备可以包括前端摄像机，如IPC(InternetProtocolCamera，网络摄像机)；后端设备可以包括但不限于监控服务器、硬盘录像机(如NVR)等，本专利技术实施例后续不再复述。本专利技术实施例中，考虑到在一般的视频监控场景中，运动目标在画面中的分布在空间和时间上是不均匀的。空间不均匀性指的是部分区域运动目标较多，部分区域运动目标较少或没有；时间不均匀性指的是相同空间位置一段时间运动目标多，一段时间运动目标少或没有；同一个画面的不同区域，出现运动目标的时间一般也是不同的。基于上述原则，可以将视频监控画面按照划分为多个不同的条带区域(本文中称为slice区域)，每个条本文档来自技高网...

【技术保护点】
一种视频摘要生成方法，应用于视频监控系统，所述视频监控系统包括前端设备和后端设备，其特征在于，所述前端设备的视频监控画面被划分为多个条带slice区域，所述方法包括：前端设备确定各监控视频帧中的运动目标对应的slice信息，其中，监控视频帧中的运动目标对应的slice信息包括该运动目标在该监控视频帧中所处的slice区域；所述前端设备将监控视频以及所述slice信息发送给后端设备；所述后端设备根据所述slice信息对接收到的监控视频进行解码，以得到运动目标画面，并根据所述运动目标画面生成视频摘要。

【技术特征摘要】
1.一种视频摘要生成方法，应用于视频监控系统，所述视频监控系统包括前端设备和后端设备，其特征在于，所述前端设备的视频监控画面被划分为多个条带slice区域，所述方法包括：前端设备确定各监控视频帧中的运动目标对应的slice信息，其中，监控视频帧中的运动目标对应的slice信息包括该运动目标在该监控视频帧中所处的slice区域；所述前端设备将监控视频以及所述slice信息发送给后端设备；所述后端设备根据所述slice信息对接收到的监控视频进行解码，以得到运动目标画面，并根据所述运动目标画面生成视频摘要。2.根据权利要求1所述的方法，其特征在于，所述前端设备确定各监控视频帧中的运动目标对应的slice信息，包括：对于任一监控视频帧，所述前端设备检测该监控视频帧中的运动目标；所述前端设备根据所述运动目标在监控视频画面中的位置与大小，确定所述运动目标在该监控视频帧中所处的slice区域。3.根据权利要求1所述的方法，其特征在于，所述前端设备将监控视频以及所述slice信息发送给后端设备，包括：所述前端设备将所述slice信息保存在所述监控视频对应的元数据中，并将所述元数据与所述监控视频发送给所述后端设备。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：统计视频监控画面中各行的热度信息；其中，视频监控画面中各行的热度信息与该行中出现运动目标的次数正相关；根据视频监控画面中各行的热度信息对slice区域的划分进行动态调整。5.根据权利要求1所述的方法，其特征在于，所述后端设备根据所述slice信息对接收到的监控视频进行解码，以得到运动目标画面，包括：对于待生成摘要的录像段中的任一I帧组，根据所述slice信息确定该I帧组中包括的各监控视频帧中出现过运动目标的目标slice区域；解码该I帧组中目标slice区域的码流，并获取运动目标画面。6.一种视频摘要生成装置，应用于视频监控系统中的前端设备，所述视频监控系统包括前端设备和后端设备，其特征在于，所述前端设备的视频监控画面被划分为多个条带slice区域，所述装置还包括：确定单元，用...

【专利技术属性】
技术研发人员：汪辉，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33