面向个体直播场景的异常行为检测方法技术

本发明专利技术揭示了一种面向个体直播场景的异常行为检测方法，其特征在于，包括如下步骤：S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，得到连续三帧图像；S2、对连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测；S3、对当前帧图像进行人形区域分割，得到待检图像；S4、分离待检图像的三个颜色通道的图像，得到输入图像；S5、对输入图像进行卷积神经网络训练，得到异常行为检测模型，并最终得到检测结果。本发明专利技术能快速且准确的对视频中人物的异常行为进行检测识别，当检测到直播内容违规时，可以及时向网络平台通知报警，从而实现对直播内容实时、全面的监测。

Anomalous Behavior Detection for Individual Live Scene

The invention discloses an anomalous behavior detection method for individual live scene, which is characterized by the following steps: S1, real-time acquisition of live video signal, capturing each frame image in video stream, preprocessing each frame image, obtaining three consecutive frames of image; S2, gray processing for three consecutive frames of image, and then using three frame difference method to advance the moving human shape region. Line detection; S3, the current frame image is segmented by human shape region to get the image to be checked; S4, the image of three color channels to be checked is separated to get the input image; S5, the input image is trained by convolution neural network to get the abnormal behavior detection model, and finally the detection results are obtained. The invention can quickly and accurately detect and identify the abnormal behavior of the characters in the video. When the live content violation is detected, the alarm can be notified to the network platform in time, thereby realizing real-time and comprehensive monitoring of the live content.

【技术实现步骤摘要】
面向个体直播场景的异常行为检测方法
本专利技术涉及一种依托于计算机技术的异常行为检测方法，具体而言，涉及一种面向个体直播场景的异常行为检测方法，属于深度学习

技术介绍
近年来，网络直播行业发展极为迅速，各种直播平台层出不穷并不断发展壮大，越来越多的用户开始进行直播或者观看，信息量日益剧增。与此同时，随着直播行业的飞速发展，直播行业的各种乱象频频出现。尤其在个体直播领域，直播的内容五花八门，其中不乏色情、暴力等用来吸引观众的低俗内容。但对于这一问题，目前市场上缺乏有效的监管工具和相应的检测方法，因此这一现象很难完全杜绝。人物的异常行为检测技术能够在视频中检测人物的运动形态，对视频中的人形图像进行检测与追踪，进而实现对视频内容的判断。也正是基于这一技术的出现，为技术人员带来了启发，通过使用异常行为检测模型对网络个体直播的内容进行实时监测，以判断是否包含色情、暴力等低俗内容，也就成为了目前行业内研究的热点。综上所述，如何在现有技术的基础上提出一种面向个体直播场景的异常行为检测方法，快速且准确的完成对直播内容的检测，也就成为了本领域内技术人员亟待解决的问题。
技术实现思路
鉴于现有技术存在上述缺陷，本专利技术的目的是提出一种面向个体直播场景的异常行为检测方法，包括如下步骤：S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，将处理后的连续三帧图像分别记为Image1、Image2、Image3，记Image3为当前帧；S2、对S1中处理后的连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测，得到图像Image4；S3、对当前帧图像Image3进行人形区域分割，得到待检图像Image6；S4、分离待检图像Image6的三个颜色通道的图像channel_r、channel_g、channel_b，得到输入图像Image7；S5、对输入图像Image7进行卷积神经网络训练，得到异常行为检测模型，并最终得到检测结果。优选地，S1中所述预处理为使用Gamma校正法对图像进行归一化，并进行中值滤波处理。优选地，S2具体包括如下步骤：S21、对前两帧图像Image1和Image2做灰度差；S22、对当前帧图像Image3和前一帧图像Image2做灰度差；S23、对上述两个结果按位做“与”操作，得到图像Image4。优选地，S3具体包括如下步骤：S31、对S2中得到的图像Image4进行形态学中的闭运算处理，然后对图中的人形轮廓进行矩形拟合，记录矩形的中心位置（x0,y0）和高宽（h，w）；S32、截取当前帧图像Image3对应的矩形区域，获得人形图像Image5，其中，Image5=Image3[x0-h/2:x0+h/2,y0-w/2:y0+w/2]；S33、调整图像Image5大小为（68,68），得到待检图像Image6。优选地，S5中所述卷积神经网络为一个9层卷积神经网络，共包括3个卷积层、3个池化层、2个全连接层和1个输出层，所述卷积神经网络的前6层由卷积层和池化层交替级联，随后接入2个全连接层，最后一层采用RBF分类器；所述卷积神经网络中卷积层的卷积核边长都是5，步长都为1，池化层的窗口边长都为2，步长都为2。优选地，S5中还包括训练异常行为检测模型，具体包括如下步骤：S51、准备训练样本集合，所述训练样本集合包括正样本集和负样本集；S52、处理训练样本，使样本尺寸保持一致；S53、训练样本处理完毕后，将所有正样本与所有负样本分别放入两个对应文件夹中，并将所有训练样本缩放到同样的尺寸大小。S55、对所有正、负样本赋予样本标签；S55、将正、负样本和标签，都输入到卷积神经网络模型中进行训练，最终得到经过训练的异常行为检测模型。与现有技术相比，本专利技术的优点主要体现在以下几个方面：本专利技术提出了一种面向个体直播场景的异常行为检测方法，该方法采用三帧差法对视频中人物的运动形态进行实时检测与追踪，通过形态学的闭运算处理和矩形拟合，减少周围环境对人形检测的影响，随后在当前帧图像对应的矩形区域进行人形分割，得到输入图像，随后使用卷积神经网络进行训练，最终得到异常行为检测模型并将其用于直播用户的异常行为检测。本专利技术能快速且准确的对视频中人物的异常行为进行检测识别，当检测到直播内容违规时，可以及时向网络平台通知报警，从而实现对直播内容实时、全面的监测。本专利技术能够广泛地适用于个体直播领域，为公众打造一个绿色和谐的网络环境。此外，本专利技术也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他视频内容检测的技术方案中，具有十分广阔的应用前景。以下便结合实施例附图，对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握。附图说明图1为本专利技术的异常行为检测方法的总体流程示意图；图2为本专利技术中人形检测与分割的流程示意图；图3为本专利技术卷积神经网络模型的结构示意图。具体实施方式如图1~图3所示，本专利技术揭示了一种面向个体直播场景的异常行为检测方法，包括如下步骤：S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，将处理后的连续三帧图像分别记为Image1、Image2、Image3，记Image3为当前帧。所述预处理为使用Gamma校正法对图像进行归一化，并进行中值滤波处理。其中Gamma校正就是对图像的Gamma曲线进行编辑，以对图像进行非线性色调编辑的方法，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；中值滤波主要消除噪声对检测的影响。S2、对S1中处理后的连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测，得到图像Image4。S2具体包括如下步骤：S21、对前两帧图像Image1和Image2做灰度差；S22、对当前帧图像Image3和前一帧图像Image2做灰度差；S23、对上述两个结果按位做“与”操作，得到图像Image4。此处所述采用三帧差法对运动的人形区域进行检测，需要说明的是，帧间差分法是通过对视频中相邻两帧图像做差分运算来标记运动物体的方法。当视频中存在移动物体的时候，相邻帧（或相邻三帧）之间在灰度上会有差别，求取两帧图像灰度差的绝对值，则静止的物体在差值图像上表现出来全是0，而移动物体特别是移动物体的轮廓处由于存在灰度变化为非0，这样就能大致计算出移动物体的位置、轮廓和移动路径等。本专利技术中采用的三帧差法是在相邻帧差法基础上改进的算法，在一定程度上优化了运动物体双边粗轮廓的现象，相比相邻两帧差法，三帧差法做了两次的差分运算，给了三帧差法更多可操作和优化的空间，为更优秀的检测效果提供了可能。S3、对当前帧图像Image3进行人形区域分割，得到待检图像Image6。S3具体包括如下步骤：S31、对S2中得到的图像Image4进行形态学中的闭运算处理，然后对图中的人形轮廓进行矩形拟合，记录矩形的中心位置（x0,y0）和高宽（h，w）；矩形拟合指的是用一个矩形刚好能包括所有连续分布的像素值为255的点。S32、截取当前帧图像Image3对应的矩形区域，获得人形图像Image5，其中，Image5=Image3本文档来自技高网...

【技术保护点】
1.一种面向个体直播场景的异常行为检测方法，其特征在于，包括如下步骤：S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，将处理后的连续三帧图像分别记为Image1、Image2、Image3，记Image3为当前帧；S2、对S1中处理后的连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测，得到图像Image4；S3、对当前帧图像Image3进行人形区域分割，得到待检图像Image6；S4、分离待检图像Image6的三个颜色通道的图像channel_r、channel_g、channel_b，得到输入图像Image7；S5、对输入图像Image7进行卷积神经网络训练，得到异常行为检测模型，并最终得到检测结果。

【技术特征摘要】
1.一种面向个体直播场景的异常行为检测方法，其特征在于，包括如下步骤：S1、实时获取直播视频信号，捕获视频流中的每帧图像，对每帧图像进行预处理，将处理后的连续三帧图像分别记为Image1、Image2、Image3，记Image3为当前帧；S2、对S1中处理后的连续三帧图像进行灰度处理，之后采用三帧差法对运动的人形区域进行检测，得到图像Image4；S3、对当前帧图像Image3进行人形区域分割，得到待检图像Image6；S4、分离待检图像Image6的三个颜色通道的图像channel_r、channel_g、channel_b，得到输入图像Image7；S5、对输入图像Image7进行卷积神经网络训练，得到异常行为检测模型，并最终得到检测结果。2.根据权利要求1所述的面向个体直播场景的异常行为检测方法，其特征在于：S1中所述预处理为使用Gamma校正法对图像进行归一化，并进行中值滤波处理。3.根据权利要求1所述的面向个体直播场景的异常行为检测方法，其特征在于，S2具体包括如下步骤：S21、对前两帧图像Image1和Image2做灰度差；S22、对当前帧图像Image3和前一帧图像Image2做灰度差；S23、对上述两个结果按位做“与”操作，得到图像Image4。4.根据权利要求1所述的面向个体直播场景的异常行为检测方法，其特征在于，S3具体包括如下步骤：S31、对S2中得到的图像Imag...

【专利技术属性】
技术研发人员：张晖，史雪勇，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32