一种基于前端目标检测的场景视频还原装置制造方法及图纸

本发明专利技术公开了一种基于前端目标检测的场景视频还原装置，包括目标检测模块、帧抽样调节模块和图像合成模块，目标检测模块用于分别对输入视频流的每一帧进行目标检测，并将检测出的目标数据发送给图像合成模块；帧抽样调节模块用于从输入视频流中抽取背景图像，将背景图像及与背景图像对应的属性信息发送给图像合成模块；并调整抽取背景图像的规则；图像合成模块用于将目标图像和背景图像进行合成，以得到还原的视频流。本设计可在保证对场景视频的准确还原情况下，大幅减小传输图像所需的带宽，有效节省数据存储空间。尤其是，本设计能对场景中的特定目标进行准确识别和提取，以实现对场景细节信息的准确再现。

【技术实现步骤摘要】
一种基于前端目标检测的场景视频还原装置
本专利技术涉及图像传输领域，尤其是一种基于前端目标检测的场景视频还原装置。
技术介绍
图像传输作为场景还原的基础，在安防、监控、追踪等领域得到了广泛的应用功能。但传统的图像传输为保证对场景的还原真实度，往往是将每一帧视频图像都传输到接收端，同时随着监控视频的高清化发展趋势，势必会将图像传输的带宽可数据存储量大幅提高。现有一种图像传输方式，可以在一定程度上建设数据传输带宽和数据传输量，其通常将视频帧中的静态物体和动态物体做检测和分离，在传输的时候，只需要把动态的前景部分传到后台，在后台再把静态的背景与动态的前景进行合成，生成合成图像，该方法在做动态检测和静态检测时，一般采用前帧和后帧数据差异化检测法，当目标运动时，前帧数据和后帧数据出现差异，两帧数据相减，即可检测出动态的目标。上述方式经试验可以至少节省1/3的传输带宽和数据量，但是，该种方式无法对静态目标进行分离，即会将一些静态目标作为背景，在合成时，会将部分静态目标覆盖，造成信息丢失，其属于一种不可靠的图像传输方法。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一种基于前端目标检测的场景视频还原法，在图像传输过程中，有效节省带宽和数据存储量的同时，保证特定目标的有效性，进而对视频进行可靠还原。本专利技术采用的技术方案如下：一种基于前端目标检测的场景视频还原装置，包括目标检测模块、帧抽样调节模块和图像合成模块，其中：目标检测模块用于基于对目标的训练结果，分别对输入视频流的每一帧进行目标检测，并将检测出的目标数据发送给图像合成模块，该目标数据包含目标图像和与目标图像对应的属性信息；帧抽样调节模块用于从输入视频流中抽取背景图像，将背景图像及与背景图像对应的属性信息发送给图像合成模块；并根据目标检测模块所检测的目标数据，和/或对所抽取的背景图像的检测结果，调整抽取背景图像的规则；图像合成模块用于根据目标图像的属性信息以及背景图像的属性信息，将目标检测模块所提取出的目标图像，以及帧抽样调节模块抽取的背景图像进行合成，以得到还原的视频流。进一步的，目标图像的属性信息至少包括时间信息、帧号信息、中心点位置信息和图像尺寸信息，背景图像的属性信息至少包括时间信息、帧号信息和图像尺寸信息。进一步的，在目标检测模块与图像合成模块之间，以及帧抽样调节模块与图像合成模块之间，均设置有传输模块，所述传输模块用于分别将目标检测模块和帧抽样调节模块输入的数据配置为预定格式发送到图像合成模块。需要说明的是，目标检测模块与图像合成模块之间的传输模块，和帧抽样调节模块与图像合成模块之间的传输模块可以为两个独立的传输模块，也可以为同一个传输模块。进一步的，传输模块向图像合成模块发送的数据为JSON（JavaScriptObjectNotation，JS对象简谱）格式的数据。进一步的，帧抽样调节模块从输入视频流中抽取背景图像的方式具体为：从输入视频流中抽取视频帧图像，对目标检测模块进行监控，若目标检测模块在视频帧图像中检测到目标，则选取视频帧图像的未包含目标的区域作为背景图像；否则，将抽取的视频帧图像作为背景图像。进一步的，帧抽样调节模块调整抽取背景图像的规则为：帧抽样调节模块以预定周期从输入视频流中抽取背景图像，在每次抽取出背景图像后，根据目标检测模块在该背景图像对应的视频帧图像中检测出的目标数量，和/或该背景图像与上一次发送到图像合成模块的背景图像的差别，调整抽取背景图像的周期。进一步的，根据目标检测模块在该背景图像对应的视频帧图像中检测出的目标数量，和/或该背景图像与上一次发送到图像合成模块的背景图像的差别，调整抽取背景图像的周期具体为：规定以周期T在输入视频流中抽取背景图像，若目标检测模块在所抽取的背景图像所对应的视频帧图像中所检测到的目标数量未达到预设门限值，或者所抽取的背景图像同上一次发送到图像合成模块的背景图像的差异度未超过预设比例，则保持抽样周期T或增大抽样周期；若目标检测模块从背景图像所对应的视频帧图像中所检测到的目标数量达到预设门限值，或者所抽取的背景图像同上一次发送到图像合成模块的背景图像的差异度超过预设比例，则减小抽样周期。进一步的，还包括：连接目标检测模块的目标归类数据库，以及连接目标归类数据库的目标检索模块，其中：目标归类数据库用于对目标检测模块所检测的目标数据按目标类型进行分类存储，目标检测模块所检测的目标至少包含一种类型的目标；目标检索模块用于根据检索条件，在目标归类数据库中检索相应的数据进行输出。进一步的，目标检索模块还连接图像合成模块，用于在目标归类数据库中检索相应的目标数据后，将该目标数据传输给图像合成模块，以使其调取对应的背景图像进行图像合成，进而将合成的视频流反馈给目标检索模块进行输出综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1、本设计可在保证对场景视频的准确还原情况下，大幅减小传输图像所需的带宽，有效节省数据存储空间。尤其是，本设计能对场景中的特定目标（动态或静态）进行准确识别和提取，以实现对场景细节信息的准确再现。2、通过将传输数据进行格式固定，即可以防止传输过程中的数据丢失，也方便接收端对数据的识别和同步。3、本设计的帧抽样调整规则，可以对抽样周期进行动态调整，可同时满足对场景的高准确率还原和降低传输带宽需求的要求。同时，本设计还对特定目标进行归类记录，以便于对相应类别或特定场景的快捷检索。附图说明本专利技术将通过例子并参照附图的方式说明，其中：图1是装置构造的一个实施例。图2是装置构造的另一实施例。具体实施方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。对于同一个图像采集设备（常见的摄像头）所采集的画面来讲，背景图像在绝大数情况下，是保持不变的，且其占用换面的大部分空间，如果每一帧视频图像均传送，则对于背景图像的大部分数据量的传输是无效的工作量。而现有将动态区域和背景区域进行区分再分别传输的方案，将所有静态物均视为背景区域，则对于很多场景的监控来说是不可靠的，例如对机械设备运行的监控、对物流厂库的监控、对燃气（如煤气罐）存放的监控等，这些应用场景均为对静态物的监控，若仅对动态的人/物进行场景还原，则必然会丢失绝大部分有效信息，失去监控的意义。如图1所示，本实施例公开了一种基于前端目标检测的场景视频还原装置，该装置可在保证对现场高准确率还原的情况下，有效节省数据的传输带宽和存储空间。该装置包括：目标检测模块、帧抽样调节模块和图像合成模块，其中：目标检测模块用于基于对目标的训练结果，分别对输入视频流的每一帧进行目标检测，并将检测出的目标数据发送给图像合成模块，该目标数据包含目标图像和与目标图像对应的属性信息。在一个实施方式中，属性信息至少包括时间信息（到秒）、帧号信息、中心点位置信息和图像尺寸信息，或者还包括RGB信息。采用大量目标图片、视频，进行基于神经网络的深度学习，即可完成对目标的训练，其属于现有成熟技术，本设计中不对训练过本文档来自技高网...

【技术保护点】
1.一种基于前端目标检测的场景视频还原装置，其特征在于，包括目标检测模块、帧抽样调节模块和图像合成模块，其中：所述目标检测模块用于基于对目标的训练结果，分别对输入视频流的每一帧进行目标检测，并将检测出的目标数据发送给图像合成模块，该目标数据包含目标图像和与目标图像对应的属性信息；所述帧抽样调节模块用于从输入视频流中抽取背景图像，将背景图像及与背景图像对应的属性信息发送给图像合成模块；并根据目标检测模块所检测的目标数据，和/或对所抽取的背景图像的检测结果，调整抽取背景图像的规则；所述图像合成模块用于根据所述目标图像的属性信息以及所述背景图像的属性信息，将目标检测模块所提取出的目标图像，以及帧抽样调节模块抽取的背景图像进行合成，以得到还原的视频流。

【技术特征摘要】
1.一种基于前端目标检测的场景视频还原装置，其特征在于，包括目标检测模块、帧抽样调节模块和图像合成模块，其中：所述目标检测模块用于基于对目标的训练结果，分别对输入视频流的每一帧进行目标检测，并将检测出的目标数据发送给图像合成模块，该目标数据包含目标图像和与目标图像对应的属性信息；所述帧抽样调节模块用于从输入视频流中抽取背景图像，将背景图像及与背景图像对应的属性信息发送给图像合成模块；并根据目标检测模块所检测的目标数据，和/或对所抽取的背景图像的检测结果，调整抽取背景图像的规则；所述图像合成模块用于根据所述目标图像的属性信息以及所述背景图像的属性信息，将目标检测模块所提取出的目标图像，以及帧抽样调节模块抽取的背景图像进行合成，以得到还原的视频流。2.如权利要求1所述的场景视频还原装置，其特征在于，所述目标图像的属性信息至少包括时间信息、帧号信息、中心点位置信息和图像尺寸信息，所述背景图像的属性信息至少包括时间信息、帧号信息和图像尺寸信息。3.如权利要求1所述的场景视频还原装置，其特征在于，在所述目标检测模块与图像合成模块之间、所述帧抽样调节模块与图像合成模块之间，均设置有传输模块，所述传输模块用于分别将目标检测模块和帧抽样调节模块输入的数据配置为预定格式发送到图像合成模块。4.如权利要求3所述的场景视频还原装置，其特征在于，所述传输模块向图像合成模块发送的数据为JSON（JavaScriptObjectNotation，JS对象简谱）格式的数据。5.如权利要求1所述的场景视频还原装置，其特征在于，所述帧抽样调节模块从输入视频流中抽取背景图像的方式具体为：从输入视频流中抽取视频帧图像，对目标检测模块进行监控，若目标检测模块在所述视频帧图像中检测到目标，则选取所述视频帧图像的未包含目标的区域作为背景图像；否则，将抽取的视频帧图像作为背景...

【专利技术属性】
技术研发人员：卢荣新，王泽民，李珉，施国鹏，
申请(专利权)人：一石数字技术成都有限公司，
类型：发明
国别省市：四川,51