一种基于视频分割的智能视频监控方法技术

本发明专利技术特别涉及一种基于视频分割的智能视频监控方法。该基于视频分割的智能视频监控方法，在电脑端，以卷积神经网络CNN为基础，构建NetWarp结构，对监控视频中的连续帧Frame进行分析，对视频中的物体进行分割，以达到入侵检测，实时监测异常情况的目的；并对异常情况发出警示音，进行邮件或短信通知。该基于视频分割的智能视频监控方法，由机器来完成这部分工作，不仅能将安防人员从繁杂而枯燥的长时间观察屏幕的任务重解脱出来，减少了人力投入，还能在海量的视频数据中快速搜索到想要找的关键数据，大大降低了不报、误报、错报的概率。

An intelligent video monitoring method based on video segmentation

【技术实现步骤摘要】
一种基于视频分割的智能视频监控方法
本专利技术涉及深度学习
，特别涉及一种基于视频分割的智能视频监控方法。
技术介绍
在日常生活中，各类违法违规事件层出不穷，随着科技的展，违法违规手段更是趋于复杂。在当今社会，对违法违规事件的预防以及探查主要通过对视频监控的分析来进行。但是这需要耗费大量人力与时间，事件发生前的预防需要有人时刻盯防视频监控，事件发行后的检查需要对大量视频监控进行分析。显然，依赖传统人工方式盯防与检查视屏监控的手段已经满足不了当今社会发展的需求。因此，提出一种新的更加智能的视频监控方法成为当下亟待解决的问题。为了将安防人员从繁杂而枯燥的长时间观察屏幕的任务重解脱出来，由机器来完成这部分工作，减少人力投入；同时，为了在海量的视频数据中快速搜索到想要找的的关键数据，大大降低不报、误报、错报的概率，本专利技术提出了一种基于视频分割的智能视频监控方法。智能视频监控是利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析、判断目标的行为。视频是由一帧一帧连续的图片组成。智能视频监控对视频监控分析需要利用到图像分割技术。图像分割指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。图像分割的目的是简化或改变图像的表示形式，使得图像更容易理解和分析。随着深度学习的发展，图像分割技术已经取得了良好的成绩。但是图像分割技术不能简单的利用到视频分析中来，因为视频中的图片具有时序相关性的特点。比如，我们取到视频中的两帧图片，两张图片中又同一人分别在室内与室外，利用图片分割方法，技术人员很难判断这个人是从室内进入室外还是从室外进入室内，而利用视频帧之间的时序性特点，技术人员很容易做出判断。
技术实现思路
本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的基于视频分割的智能视频监控方法。本专利技术是通过如下技术方案实现的：一种基于视频分割的智能视频监控方法，其特征在于，包括以下步骤：第一步，利用视频监控摄像机拍摄监控视频；第二步，将监控视频数据传输到电脑端；第三步，在电脑端，以卷积神经网络CNN为基础，构建NetWarp结构，对监控视频中的连续帧Frame进行分析，对视频中的物体进行分割，以达到入侵检测，实时监测异常情况的目的；第四步，对异常情况发出警示音，并进行邮件或短信通知。所述第三步中，对视频进行分割，包括以下步骤：(1)流计算FlowComputation输入连续两帧图片It和I(t-1),使用DIS-Flow算法计算两帧连续图片中每个像素位置的相对偏移量，得到从帧It到I(t-1)的光流数据；(2)流转换FlowTransformation通过卷积神经网络FlowCNN对从帧It到I(t-1)的光流数据进行转换，得到转换后的光流数据；(3)扭曲表示WarpingRepresentations通过转换后的光流数据计算当前帧图片It像素位置映射到前一帧图片I(t-1)像素位置的扭曲表示，得到前一帧图片I(t-1)的扭曲卷积核；(4)表示结合CombinationofRepresentations将计算出的前一帧图片I(t-1)的扭曲卷积核与当前帧图片It的卷积核线性相加，并将相加结果传递给剩下的图像卷积网络层；(5)入侵检测(IntrusionDetection)对分割后视频帧图像间做差值处理，根据预先设定的阈值threshold，判断是否为异常入侵；若发现异常入侵，则发出警示。所述步骤(1)中，用一组浮点数μ和υ分别代表像素在水平和垂直方向的偏移量，(x'，y')＝(x+μ，y+υ)，其中(x，y)表示图片It中每个像素位置，(x'，y')表示图片I(t-1)中每个像素位置。由于步骤(1)中获得的光流数据不能很好地体现视频帧之间的传播表现，需要对其进行转换。所述步骤(2)中，卷积神经网络FlowCNN连接原始的两个通道流，前一帧图片I(t-1)与当前帧图片It，以及这两帧之间的差异形成一个11通道的张量(tensor)作为卷积神经网络FlowCNN的输入；所述卷积神经网络FlowCNN本身由4个使用ReLU非线性函数的卷积层构成，所有的卷积层都是由3×3的卷积核(Filter)组成，并且前三层的输出通道分别是16，32和2；连接第三层的输出与步骤(1)中计算出的光流数据作为输入传递给最后一层卷积层来获得最终的转换后的流数据。所述卷积神经网络FlowCNN中的所有参数通过标准的反向传播算法(BackPropagation)进行学习。所述步骤(3)中，在图像卷积神经网络的第k层实现Net-Warp模块，相邻两帧的卷积核分别是和为了表示方便，分别用Zt和Z(t-1)来表示；Z(t-1)通过扭曲和Zt对齐：其中，为扭曲后卷积核，Ft代表光流信息，Λ(·)代表FlowCNN网络。所述就是通过转换后的光流数据计算当前帧图片It像素位置(x，y)映射到前一帧I(t-1)图片位置(x'，y')的扭曲表示，实现Warp()作为Z(t-1)在点(x'，y')的双线性插值，用(x1，y1),(x1，y2),(x2，y1)和(x2，y2)表示(x'，y')所在网格的边角点：其中，所述步骤(4)中，将计算出的前一帧图片I(t-1)的扭曲卷积核与当前帧图片It的卷积核线性相加：其中，w1和w2为权重向量，长度与zk通道数相同，⊙代表标量乘法；w1和w2参数通过标准的反向传播算法(BackPropagation)进行学习；最后，将结果传递给剩下的图像卷积网络层。所述步骤(5)中，对分割后视频帧图像间做差值处理，方法如下：d(i,j,t)＝F(i,j,t)-F(i,j，t-1)其中，F(i，j，t)代表t帧(i，j)像素位置，F(i，j，t-1)代表t-1帧像素。所述步骤(5)中，阈值threshold＝30，若差值d(i，j，t)达到阈值threshold，则判定为异常入侵。本专利技术的有益效果是：该基于视频分割的智能视频监控方法，由机器来完成这部分工作，不仅能将安防人员从繁杂而枯燥的长时间观察屏幕的任务重解脱出来，减少了人力投入，还能在海量的视频数据中快速搜索到想要找的关键数据，大大降低了不报、误报、错报的概率。附图说明附图1为本专利技术基于视频分割的智能视频监控方法示意图。具体实施方式为了使本
的人员更好的理解本专利技术中的技术方案，下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。该基本文档来自技高网...

【技术保护点】
1.一种基于视频分割的智能视频监控方法，其特征在于，包括以下步骤：/n第一步，利用视频监控摄像机拍摄监控视频；/n第二步，将监控视频数据传输到电脑端；/n第三步，在电脑端，以卷积神经网络CNN为基础，构建NetWarp结构，对监控视频中的连续帧Frame进行分析，对视频中的物体进行分割，以达到入侵检测，实时监测异常情况的目的；/n第四步，对异常情况发出警示音，并进行邮件或短信通知。/n

【技术特征摘要】
1.一种基于视频分割的智能视频监控方法，其特征在于，包括以下步骤：
第一步，利用视频监控摄像机拍摄监控视频；
第二步，将监控视频数据传输到电脑端；
第三步，在电脑端，以卷积神经网络CNN为基础，构建NetWarp结构，对监控视频中的连续帧Frame进行分析，对视频中的物体进行分割，以达到入侵检测，实时监测异常情况的目的；
第四步，对异常情况发出警示音，并进行邮件或短信通知。


2.根据权利要求1所述的基于视频分割的智能视频监控方法，其特征在于：所述第三步中，对视频进行分割，包括以下步骤：
(1)流计算FlowComputation
输入连续两帧图片It和I(t-1),使用DIS-Flow算法计算两帧连续图片中每个像素位置的相对偏移量，得到从帧It到I(t-1)的光流数据；
(2)流转换FlowTransformation
通过卷积神经网络FlowCNN对从帧It到I(t-1)的光流数据进行转换，得到转换后的光流数据；
(3)扭曲表示WarpingRepresentations
通过转换后的光流数据计算当前帧图片It像素位置映射到前一帧图片I(t-1)像素位置的扭曲表示，得到前一帧图片I(t-1)的扭曲卷积核；
(4)表示结合CombinationofRepresentations
将计算出的前一帧图片I(t-1)的扭曲卷积核与当前帧图片It的卷积核线性相加，并将相加结果传递给剩下的图像卷积网络层；
(5)入侵检测IntrusionDetection
对分割后视频帧图像间做差值处理，根据预先设定的阈值threshold，判断是否为异常入侵；若发现异常入侵，则发出警示。


3.根据权利要求2所述的基于视频分割的智能视频监控方法，其特征在于：所述步骤(1)中，用一组浮点数μ和υ分别代表像素在水平和垂直方向的偏移量，(x'，y')＝(x+μ，y+υ)，其中(x，y)表示图片It中每个像素位置，(x'，y')表示图片I(t-1)中每个像素位置。


4.根据权利要求3所述的基于视频分割的智能视频监控方法，其特征在于：所述步骤(2)中，卷积神经网络FlowCNN连接原始的两个通道流，前一帧图片I(t-1)与当前帧图片It，以及这两帧之间的差异形成一个11通道的张量(tensor)作为卷积神经网络FlowCNN的输入；所述卷积神经网络FlowC...

【专利技术属性】
技术研发人员：汝佩哲，李锐，于治楼，
申请(专利权)人：山东浪潮人工智能研究院有限公司，
类型：发明
国别省市：山东;37