一种文化产业综合创意公共服务平台用监视系统技术方案

本发明专利技术涉及图像数据处理领域，公开了一种文化产业综合创意公共服务平台用监视系统，包括：将用户上传的视频进行处理获得视频帧图像的视频处理模块；将视频帧图像进行图像语义分割获得区域图像的图像分割模块；基于视频帧图像和区域图像构建图网络的图网络构建模块；通过训练集中的训练样本对违规内容检测模型进行训练的违规内容检测模型训练模块；判定待检测的视频是否存在违规内容的违规内容判定模块；本发明专利技术能够识别图像内容的关联关系，图像内容的关联关系隐含了图像内容的语义理解和图像本身的外观和运动特征，准确率高

【技术实现步骤摘要】
一种文化产业综合创意公共服务平台用监视系统


[0001]本专利技术涉及图像数据处理领域，更具体地说，它涉及一种文化产业综合创意公共服务平台用监视系统
。

技术介绍

[0002]文化产业综合创意公共服务平台需要对用户上传的视频进行审核，以判断视频内是否存在违规内容，通过正常视频训练描述正常视频的图像外观和运动特征的模型，根据预测视频与模型是否匹配判定视频是否异常
。
人工审核视频时结合了自身对于图像内容的语义理解，单纯的描述外观和运动特征的模型缺乏对于图像内容的语义理解，相较于人工审核来说错误率非常高
。

技术实现思路

[0003]本专利技术提供一种文化产业综合创意公共服务平台用监视系统，训练模型对于正常视频中的图像内容的关联关系，图像内容的关联关系隐含了图像内容的语义理解和图像本身的外观和运动特征，准确率高，解决相关技术中单纯的描述外观和运动特征的模型缺乏对于图像内容的语义理解，相较于人工审核来说错误率非常高的技术问题
。
[0004]本公开的至少一个实施例中提供一种文化产业综合创意公共服务平台用监视系统，包括：
[0005]视频处理模块，其用于将用户上传的视频进行处理获得视频帧图像；
[0006]图像分割模块，其用于将视频帧图像进行图像语义分割获得区域图像；
[0007]图网络构建模块，基于视频帧图像和区域图像构建图网络，图网络包括节点和节点之间的边；图网络的节点包括：第一节点和第二节点，第一节点对应视频帧图像，第二节点对应视频帧图像进行图像语义分割后的区域图像；
[0008]图网络的节点之间的边包括：相邻帧的视频帧图像对应的第一节点存在边；同一视频帧图像的相邻的区域图像对应的第二节点之间存在边；同一视频帧图像对应的第一节点和同一视频帧图像的区域图像对应的第二节点存在边；相邻帧的视频帧图像存在重叠的区域图像对应的第二节点存在边；
[0009]图网络的节点对应的节点矢量通过对第一节点对应视频帧图像和第二节点对应视频帧图像进行图像语义分割后的区域图像进行卷积处理来获得；
[0010]违规内容检测模型训练模块，其用于通过训练集中的训练样本对违规内容检测模型进行训练；违规内容检测模型包括
GNN
层
、
重构层和误差计算层，其中
GNN
层输入初始邻接矩阵和节点矢量矩阵；初始邻接矩阵表示图网络的节点的连接关系，节点矢量矩阵的一行表示一个节点矢量；
GNN
层输出编码矢量矩阵到重构层，重构层输出重构邻接矩阵；编码矢量矩阵的一行表示一个节点更新矢量；误差计算层输入重构邻接矩阵和初始邻接矩阵，计算重构误差；
[0011]违规内容判定模块，其用于将待检测的视频经过处理后输入到违规内容检测模
型，输出重构误差，如果该重构误差大于误差阈值，则判定待检测的视频存在违规内容，否则判定待检测的视频不存在违规内容
。
[0012]在本公开的至少一个实施例中，将用户上传的视频进行处理获得视频帧图像包括：
[0013]分帧处理，将用户上传的视频按照每秒一帧的速率进行分割，获得一组静态图像；
[0014]缩放处理，将获得的一组静态图像调整为相同尺寸，获得一组统一尺寸的静态图像；
[0015]灰度处理，将获得的一组统一尺寸的静态图像进行灰度化处理，获得视频帧图像
。
[0016]在本公开的至少一个实施例中，判断相邻帧的视频帧图像是否存在重叠的区域图像是通过计算相邻帧的视频帧图像的区域图像对应的节点矢量的相似度，如果该相似度大于预设相似度阈值，则判定两个区域图像存在重叠区域
。
[0017]在本公开的至少一个实施例中，对违规内容检测模型进行训练的训练集的所有训练样本对应的视频均不包含违规内容
。
[0018]在本公开的至少一个实施例中，重构层的计算公式如下：
[0019]G
(1)
＝
sigmoid(O*O
T
)
[0020]其中，
G
(1)
表示重构邻接矩阵，
O
表示编码矢量矩阵，
T
表示转置操作
。
[0021]在本公开的至少一个实施例中，计算重构误差的计算公式如下：
[0022][0023][0024]其中，
A
a
，
b
表示初始邻接矩阵的第
a
行第
b
列的元素值，表示重构邻接矩阵的第
a
行第
b
列的元素值，
N
表示重构邻接矩阵的行数
。
[0025]在本公开的至少一个实施例中，
GNN
层的计算公式如下：
[0026][0027]其中，
O
i
表示第
i
个节点的节点更新矢量，
φ
i
表示第
i
个节点的聚合指数，
K
i
表示与第
i
个节点存在边的节点的集合，
σ
表示非线性激活函数，
W2表示第二权重，
E
j
分别表示第
j
个节点的节点矢量；
[0028]第
i
个节点的聚合指数的计算公式如下：
[0029][0030]其中，
Z
i
＝
W1E
i
，
Z
j
＝
W1E
j
，
E
i
和
E
j
分别表示第
i
个和
j
个节点的节点矢量，
W1表示第一权重，表示第三权重，
T
表示转置操作，
exp
表示自然指数函数，
LeakyReLU
表示
LeakyRelu
激活函数，
K
i
表示与第
i
个节点存在边的节点的集合
。
[0031]本公开的至少一个实施例中提供一种文化产业综合创意公共服务平台用监视方
法，包括：
[0032]将用户上传的视频进行处理获得视频帧图像；
[0033]将视频帧图像进行图像语义分割获得区域图像；
[0034]基于视频帧图像和区域图像构建图网络，图网络包括节点和节点之间的边；
[0035]通过训练集中的训练样本对违规内容检测模型进行训练；
[0036]将测试集中的测试样本输入训练好的违规内容检测模型，基于获得的重构误差来计算误差阈值；
[0037]将待检测的视频经过处理后输入到违规内容检测模型，输出重构误差，如果该重构误差大于误差阈值，则判定待检测的视频存在违规内容，否则判定待检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种文化产业综合创意公共服务平台用监视系统，其特征在于，包括：视频处理模块，其用于将用户上传的视频进行处理获得视频帧图像；图像分割模块，其用于将视频帧图像进行图像语义分割获得区域图像；图网络构建模块，基于视频帧图像和区域图像构建图网络，图网络包括节点和节点之间的边；图网络的节点包括：第一节点和第二节点，第一节点对应视频帧图像，第二节点对应视频帧图像进行图像语义分割后的区域图像；图网络的节点之间的边包括：相邻帧的视频帧图像对应的第一节点存在边；同一视频帧图像的相邻的区域图像对应的第二节点之间存在边；同一视频帧图像对应的第一节点和同一视频帧图像的区域图像对应的第二节点存在边；相邻帧的视频帧图像存在重叠的区域图像对应的第二节点存在边；图网络的节点对应的节点矢量通过对第一节点对应视频帧图像和第二节点对应视频帧图像进行图像语义分割后的区域图像进行卷积处理来获得；违规内容检测模型训练模块，其用于通过训练集中的训练样本对违规内容检测模型进行训练；违规内容检测模型包括
GNN
层
、
重构层和误差计算层，其中
GNN
层输入初始邻接矩阵和节点矢量矩阵；初始邻接矩阵表示图网络的节点的连接关系，节点矢量矩阵的一行表示一个节点矢量；
GNN
层输出编码矢量矩阵到重构层，重构层输出重构邻接矩阵；编码矢量矩阵的一行表示一个节点更新矢量；误差计算层输入重构邻接矩阵和初始邻接矩阵，计算重构误差；违规内容判定模块，其用于将待检测的视频经过处理后输入到违规内容检测模型，输出重构误差，如果该重构误差大于误差阈值，则判定待检测的视频存在违规内容，否则判定待检测的视频不存在违规内容
。2.
根据权利要求1所述的一种文化产业综合创意公共服务平台用监视系统，其特征在于，将用户上传的视频进行处理获得视频帧图像包括：分帧处理，将用户上传的视频按照每秒一帧的速率进行分割，获得一组静态图像；缩放处理，将获得的一组静态图像调整为相同尺寸，获得一组统一尺寸的静态图像；灰度处理，将获得的一组统一尺寸的静态图像进行灰度化处理，获得视频帧图像
。3.
根据权利要求1所述的一种文化产业综合创意公共服务平台用监视系统，其特征在于，判断相邻帧的视频帧图像是否存在重叠的区域图像是通过计算相邻帧的视频帧图像的区域图像对应的节点矢量的相似度，如果该相似度大于预设相似度阈值，则判定两个区域图像存在重叠区域
。4.
根据权利要求1所述的一种文化产业综合创意公共服务平台用监视系统，其特征在于，对违规内容检测模型进行训练的训练集的所有训练样本对应的视频均不包含违规内容
。5.
根据权利要求1所述的一种文化产业综合创意公共服务平台用监视系统，其特征在于，重构层的计算公式如下：
G
(1)
＝
sigmoid(O*O
T
)
其中，
G
(1)
表示重构邻接矩阵，
O
表示编码矢量矩阵，
T
表示转置操作
。6.
根据权利要求1或5所述的一种文化产业...

【专利技术属性】
技术研发人员：汪洋，许秦伟，
申请(专利权)人：南京企立科技有限公司，
类型：发明
国别省市：