视频流中异常内容的识别方法及视频流处理系统和方法技术方案

本申请提供了一种视频流中异常内容的识别方法及视频流处理系统和方法，其中方法包括：对视频流进行采样获得采样帧序列，并缓存所述采样帧序列；在所述采样帧序列中获取预设数量个采样帧，且，所述预设数量≥2；基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵；利用与各个维度对应的异常内容识别模型，对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果。本申请可以提高异常内容识别的准确率和效率。

Identification method of abnormal content in video stream and video stream processing system and method

The present application provides a method for identifying abnormal content in a video stream and a video stream processing system and method, wherein the method includes: sampling a video stream to obtain a sequence of sampled frames and caching the sequence of sampled frames; acquiring a preset number of sampled frames in the sequence of sampled frames, and the preset number is greater than or equal to 2; and The convolution neural network model uses several preset convolution kernels to perform feature extraction operations on the preset number of sampling frames to obtain a global feature matrix. The preset convolution kernels include a union of convolution kernels used to perform feature extraction operations on each dimension; and extract and extract from the global feature matrix Each dimension corresponding to the high-level feature matrix; using the abnormal content recognition model corresponding to each dimension, each dimension of the high-level feature matrix for abnormal content recognition and get multi-dimensional recognition results. This application can improve the accuracy and efficiency of abnormal content recognition.

【技术实现步骤摘要】
视频流中异常内容的识别方法及视频流处理系统和方法
本申请涉及通信
，尤其涉及一种视频流中异常内容的识别方法及视频流处理系统和方法。
技术介绍
当下互联网出现很多直播平台，直播平台可以产生直播视频(又称视频流)。直播视频一方面提升了用户体验，另一方面也给不良内容(又称异常内容)提供新的传播渠道。异常内容可以包括暴力内容、不正当裸露内容、具有煽动性政治内容等等。因此，可以将异常内容分为多个维度：涉政维度、暴恐维度、禁售维度等等。为了限制直播平台传播异常内容，需要对直播平台产生的视频流进行异常内容识别。目前，对视频流的识别过程可以为：获取单个图像帧在单个维度上的特征矩阵，利用分类器对特征矩阵进行识别，以识别单个图像帧是否具有单个维度上的异常内容。例如，以涉政维度为例，对单个图像帧在涉政维度上进行特征提取，获取与涉政维度对应的特征矩阵，然后，将特征矩阵输入至分类器，从而获得分类器识别结果。识别结果可以表明单个图像帧是否具有涉政风险。在研究过程中发现，现有技术中对于异常内容识别的准确率较低。
技术实现思路
本申请提供了一种视频流的分类方法及系统，可以对多个图像帧进行识别，以确定多个图像帧组成的视频片段是否具有异常内容，从而可以提高视频流的处理效率和准确性。为了实现上述目的，本申请提供了以下技术特征：一种视频流处理系统，包括：视频流提供终端，用于产生视频流并将视频流发送至第一服务器；第一服务器，用于接收视频流并复制所述视频流获得视频流副本，将所述视频流发送至视频流接收终端，并将所述视频流副本发送至第二服务器，接收所述第二服务器针对视频流副本中的视频片段进行异常内容识别后输出的多维度识别结果，基于所述多维度识别结果判断所述视频流副本是否具有异常内容；若所述视频流副本具有异常内容，则停止向所述视频流接收终端发送后续从所述视频流提供终端接收的视频流；第二服务器，用于接收第一服务器发送的所述视频流副本，对所述视频流副本进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。一种视频流处理系统，包括：视频流提供终端，用于产生视频流并将所述视频流发送至第一服务器；第一服务器，用于将所述视频流发送至第二服务器，并接收第二服务器发送针对所述视频流中视频片段的多维度识别结果；基于所述多维度识别结果判定所述视频片段是否具有异常内容；若所述视频片段不具有异常内容，则将所述视频片段发送至视频流接收终端；视频流接收终端，用于接收所述第一服务器发送的所述视频片段；第二服务器，用于接收第一服务器发送的所述视频流，对所述视频流进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集，从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。一种视频流中异常内容的识别方法，包括：对视频流进行采样获得采样帧序列，并缓存所述采样帧序列；在所述采样帧序列中获取预设数量个采样帧，且，所述预设数量≥2；基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵；利用与各个维度对应的异常内容识别模型，对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果。可选的，所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：将所述预设数量个采样帧按采样顺序分为多组采样帧；对各组采样帧中各个采样帧按采样顺序执行合并操作，获得各个部分采样帧；对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵。可选的，所述多组采样帧中相邻两组采样帧具有交集。可选的，预设数量为4，则所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：将四个采样帧按采样顺序分为两组采样帧，两组采样帧均具有三个采样帧，且，采样帧两组采样帧具有交集；对两组采样帧中各个采样帧按采样顺序执行合并操作，获得两个部分采样帧；对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵。可选的，所述若干个预设卷积核包括：用于提取底层特征的第一类卷积核和用于提取中层特征的第二类卷积核；则所述对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵，包括：对各个部分采样帧与所述第一类卷积核执行卷积操作，获得用于表示底层特征的各个局部特征矩阵；对各个局部特征矩阵执行合并操作，获得合并后局部特征矩阵；对所述合并后局部特征矩阵与所述第二类卷积核执行卷积操作，获得用于表示中层特征的全局特征矩阵。可选的，所述若干个卷积核包括用于提取底层特征的第一类卷积核和用于提取中层特征的第二类卷积核；则所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：将所述预设数量个采样帧按采样顺序执行合并操作，获得整体采样帧；对所述整体采样帧与所述第一类卷积核执行卷积操作，获得用于表示底层特征的全局特征矩阵；对所述用于表示底层特征全局特征矩阵与第二类卷积核执行卷积操作，获得用于表示中层特征的所述全局特征矩阵。可选的，所述从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，包括：将所述全局特征矩阵与各个维度对应的权值矩阵相乘，得到各个维度的特征矩阵；分别利用与各个维度对应的用于提取高层特征的多个卷积核对各个维度的特征矩阵执行特征提取操作，获得与各个维度对应的高层特征矩阵。可选的，每个维度包括多个类别，所述利用与各个维度对应的异常内容识别模型，对各个维度的高层特征矩阵进行异常内容识别并获得识别结果，包括：将各个维度的高层特征矩阵输入至各个维度对应的异常内容识别模型；获得各个异常内容识别模型输出的各个维度中各个类别的概率值；其中，异常内容识别模型为，依据若干高层特征样本训练得到的、区分异常内容中各个类别和正常内容的分类器。一种视频流处理方法，包括：接收视频流，并复制所述视频流获得视频流副本；将所述视频流发送至视频流接收终端，并将所述视频流副本发送至第二服务器；接收所述第二服务器针对视频流副本中的视频片段进行异常内容识别后输出的多维度识别结果；基于所述多维度识别结果判定所述视频片段是否具有异常内容；若所述视频片段具有异常内容，则停止向所述视频流接收终端发送后续从所述视频流提供终端接收的视频流本文档来自技高网...

【技术保护点】
1.一种视频流处理系统，其特征在于，包括：视频流提供终端，用于产生视频流并将视频流发送至第一服务器；第一服务器，用于接收视频流并复制所述视频流获得视频流副本，将所述视频流发送至视频流接收终端，并将所述视频流副本发送至第二服务器，接收所述第二服务器针对视频流副本中的视频片段进行异常内容识别后输出的多维度识别结果，基于所述多维度识别结果判断所述视频流副本是否具有异常内容；若所述视频流副本具有异常内容，则停止向所述视频流接收终端发送后续从所述视频流提供终端接收的视频流；第二服务器，用于接收第一服务器发送的所述视频流副本，对所述视频流副本进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。...

【技术特征摘要】
1.一种视频流处理系统，其特征在于，包括：视频流提供终端，用于产生视频流并将视频流发送至第一服务器；第一服务器，用于接收视频流并复制所述视频流获得视频流副本，将所述视频流发送至视频流接收终端，并将所述视频流副本发送至第二服务器，接收所述第二服务器针对视频流副本中的视频片段进行异常内容识别后输出的多维度识别结果，基于所述多维度识别结果判断所述视频流副本是否具有异常内容；若所述视频流副本具有异常内容，则停止向所述视频流接收终端发送后续从所述视频流提供终端接收的视频流；第二服务器，用于接收第一服务器发送的所述视频流副本，对所述视频流副本进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。2.一种视频流处理系统，其特征在于，包括：视频流提供终端，用于产生视频流并将所述视频流发送至第一服务器；第一服务器，用于将所述视频流发送至第二服务器，并接收第二服务器发送针对所述视频流中视频片段的多维度识别结果；基于所述多维度识别结果判定所述视频片段是否具有异常内容；若所述视频片段不具有异常内容，则将所述视频片段发送至视频流接收终端；视频流接收终端，用于接收所述第一服务器发送的所述视频片段；第二服务器，用于接收第一服务器发送的所述视频流，对所述视频流进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集，从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。3.一种视频流中异常内容的识别方法，其特征在于，包括：对视频流进行采样获得采样帧序列，并缓存所述采样帧序列；在所述采样帧序列中获取预设数量个采样帧，且，所述预设数量≥2；基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵；利用与各个维度对应的异常内容识别模型，对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果。4.如权利要求3所述的方法，其特征在于，所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：将所述预设数量个采样帧按采样顺序分为多组采样帧；对各组采样帧中各个采样帧按采样顺序执行合并操作，获得各个部分采样帧；对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵。5.如权利要求4所述的方法，其特征在于，所述多组采样帧中相邻两组采样帧具有交集。6.如权利要求3所述的方法，其特征在于，预设数量为4，则所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：将四个采样帧按采样顺序分为两组采样帧，两组采样帧均具有三个采样帧，且，采样帧两组采样帧具有交集；对两组采样帧中各个采样帧按采样顺序执行合并操作，获得两个部分采样帧；对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵。7.如权利要求4或6所述的方法，其特征在于，所述若干个预设卷积核包括：用于提取底层特征的第一类卷积核和用于提取中层特征的第二类卷积核；则所述对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵，包括：对各个部分采样帧与所述第一类卷积核执行卷积操作，获得用于表示底层特征的各个局部特征矩阵；对各个局部特征矩阵执行合并操作，获得合并后局部特征矩阵；对所述合并后局部特征矩阵与所述第二类卷积核执行卷积操作，获得用于表示中层特征的全局特征矩阵。8.如权利要求3所述的方法，其特征在于，所述若干个卷积核包括用于提取底层特征的第一类卷积核和用于提取中层特征的第二类卷积核；则所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：将所述预设数量个采样帧按采样顺序执行合并操作，获得整体采样帧；对所述整体采样帧与所述第一类卷积核执行卷积操作，获得用于表示底层特征的全局特征矩阵；对所述用于表示底层特征全局特征矩阵与第二类卷积核执行卷积操作，获得用于表示中层特征的所述全局特征矩阵。9.如权利要求3所述的方法，其特征在于，所述从所述全局特征矩阵中提取与各个维...

【专利技术属性】
技术研发人员：毛锋，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY