视频检测模型的训练方法、视频检测方法及装置制造方法及图纸

技术编号:35094296 阅读:27 留言:0更新日期:2022-10-01 16:55
本发明专利技术实施例提供了一种视频检测模型的训练方法、视频检测方法及装置,涉及计算机技术领域。该方法包括:获取训练样本集,所述训练样本集包括多个训练样本;利用预构建的3D卷积神经网络模型,提取每一训练样本的初始特征向量,不同时长的训练样本的初始特征向量的维度不同;针对每一训练样本,根据预设的加权聚合规则,对训练样本的初始特征向量进行加权聚合处理,得到训练样本的目标特征向量,每一训练样本的目标特征向量的维度相同;根据所有训练样本的目标特征向量,训练得到所述视频检测模型。该方法训练得到的视频检测模型能够准确识别出不同时长的目标视频,有效提高模型的准确性和鲁棒性,提高视频审核效率,有助于营造健康的网络环境。康的网络环境。康的网络环境。

【技术实现步骤摘要】
视频检测模型的训练方法、视频检测方法及装置


[0001]本专利技术涉及计算机
,特别是涉及一种视频检测模型的训练方法、视频检测方法及装置。

技术介绍

[0002]随着多媒体和互联网技术的发展,视频的传播变得越来越简单。在某些场景中,需要对视频的内容进行检测,以检测出包含特定内容的视频,例如,在内容审核场景中,需要审核视频内容是否违规、是否包含敏感信息。其中,违规内容一般是指违反国家法律规定、行业规范的内容、违反社会公序良俗、价值观负面消极内容、低俗、不雅的内容等。对于视频内容的检测,可以通过人工审核以及机器学习算法例如神经网络来实现。然而,面对海量的视频,人工审核需要消耗大量的人力且效率较低。对于机器学习算法来说,在提取视频特征时,由于视频时长不同,所以将视频深度特征统一到同一维度也很困难,因此导致神经网络的检测效果不理想,准确率以及误检率不能达到预期要求。

技术实现思路

[0003]为解决上述技术问题或至少部分地解决上述技术问题,本专利技术实施例的目的在于提供一种视频检测模型的训练方法、视频检测方法、装置、电子设备及计算机可读存储介质。
[0004]在本专利技术实施的第一方面,首先提供了一种视频检测模型的训练方法,包括:
[0005]获取训练样本集,所述训练样本集中包括多个训练样本;
[0006]利用预构建的3D卷积神经网络模型,提取每一训练样本的初始特征向量,其中,不同时长的训练样本的初始特征向量的维度不同;
[0007]针对每一训练样本,根据预设的加权聚合规则,对所述训练样本的初始特征向量进行加权聚合处理,得到所述训练样本的目标特征向量,每一训练样本的目标特征向量的维度相同;
[0008]根据所述训练样本集中所有训练样本的目标特征向量,训练得到所述视频检测模型。
[0009]可选地,所述利用预构建的3D卷积神经网络模型,提取每一训练样本的初始特征向量包括:针对每一训练样本,根据预设的切分规则对所述训练样本进行分段处理,得到多个子样本;所有训练样本切分后得到的子样本的时长相同;针对每一子样本,将所述子样本输入预构建的3D卷积神经网络模型,将所述预构建的3D卷积神经网络模型的输出作为所述子样本的初始特征向量,所述子样本的初始特征向量为W*C维的特征向量,W和C分别为大于1的整数;拼接所述多个子样本的初始特征向量W*C,得到所述训练样本的初始特征向量,所述训练样本的初始特征向量为H*W*C维的特征向量,其中,H表示所述训练样本切分后得到的子样本的数量;
[0010]根据预设的加权聚合规则,对所述训练样本的初始特征向量进行加权聚合处理,
得到目标特征向量包括:根据所述训练样本集中所有训练样本的初始特征向量,计算各个通道的通道特征图的聚合值的方差,所述通道为所述初始特征向量的C维,所述通道特征图为所述初始特征向量中H维和W维构成的二维矩阵;按照由大到小的顺序对所述通道特征图的聚合值的方差进行排序,选取前N个方差对应的通道作为目标通道,N为大于或等于1的整数;根据所述目标通道的通道特征图中的特征图激活值和所有目标通道的通道特征图的特征图激活值素之和,确定所述目标通道的通道特征图的归一化权重;根据所述目标通道的通道特征图的归一化权重和所述训练样本的初始特征向量,确定所述目标通道的通道特征图的加权和;拼接N个所述目标通道的通道特征图的加权和,得到所述训练样本的目标特征向量。
[0011]可选地,根据所述训练样本集中所有训练样本的目标特征向量,训练得到所述视频检测模型包括:根据所述训练样本集中所有训练样本的目标特征向量,对预设的对抗分类网络进行训练,得到所述图像识别模型;所述对抗分类网络包括自编码器和分类器,所述自编码器包括编码器和解码器;
[0012]根据所述训练样本集中所有训练样本的目标特征向量,对预设的对抗分类网络进行训练的过程包括:利用预设的样本重构损失函数,对所述训练样本集中所有训练样本的目标特征向量进行训练,确定所述编码器的第一网络参数以及所述解码器的第一网络参数,并获得所述编码器基于其第一网络参数对所述目标特征向量进行编码后得到的隐藏层特征向量;利用预设的对抗损失函数,对所述隐藏层特征向量进行训练,确定所述分类器的第二网络参数、所述编码器的第二网络参数以及所述解码器的第二网络参数。
[0013]可选地,所述多个训练样本包括正样本和负样本;根据所述训练样本集中所有训练样本的目标特征向量,训练得到所述视频检测模型包括:在所述训练样本集中负样本所占比例大于正样本所占比例的情况下,在训练所述视频检测模型的当前迭代轮次中,对所述训练样本集中的负样本进行采样,获得多个采样负样本,所述采样负样本的数量与所述正样本的数量相同;根据所述采样负样本的目标特征向量和所述正样本的目标特征向量,执行当前迭代轮次的训练;在训练所述视频检测模型的下一迭代轮次时,对所述训练样本集中除所述采样负样本外的剩余负样本进行采样,得到多个新的采样负样本,所述新的采样负样本的数量与所述正样本的数量相同;根据所述正样本的目标特征向量和所述新的采样负样本的目标特征向量,进行下一迭代轮次的训练。
[0014]可选地,所述训练样本的初始特征向量包括初始画面特征向量和初始音频特征向量;
[0015]利用预构建的3D卷积神经网络模型,提取每一训练样本的初始特征向量包括:针对每一子样本,利用第一3D卷积神经网络模型,提取所述子样本的初始画面特征向量和利用第二3D卷积神经网络模型,提取所述子样本的初始音频特征向量;拼接所述多个子样本的初始画面特征向量和初始音频特征向量,获得所述训练样本的初始画面特征向量和初始音频特征向量;
[0016]根据预设的加权聚合规则,对所述训练样本的初始特征向量进行加权聚合处理,得到所述训练样本的目标特征向量包括:根据预设的加权聚合规则,分别对所述训练样本的初始画面特征向量和所述初始音频特征向量进行加权聚合处理,得到第一维度的目标画面特征向量和第二维度的目标音频特征向量;融合所述第一维度的目标画面特征向量和第
二维度的目标音频特征向量,得到所述训练样本的目标音视频特征向量;
[0017]根据所述训练样本集中所有训练样本的目标特征向量,训练得到所述视频检测模型包括:根据所述目标音视频特征向量,训练得到所述视频检测模型。
[0018]在本专利技术实施的第二方面,提供了一种视频检测方法,所述方法包括:获取待检测视频;利用预构建的3D卷积神经网络模型,提取所述待检测视频的初始特征向量;根据预设的加权聚合规则,对所述待检测视频的初始特征向量进行加权聚合处理,得到所述待检测视频的目标特征向量;根据所述目标特征向量和预构建的视频检测模型,确定所述待检测视频的检测结果。
[0019]可选地,所述利用预构建的3D卷积神经网络模型,提取所述待检测视频的初始特征向量包括:根据预设的切分规则对所述待检测视频进行分段处理,得到多个子样本;所述待检测视频切分后得到的子样本的时长相同;针对每一子样本,将所述子样本输入预构建的3D卷积神经网络模型,将所述预构建的 本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种视频检测模型的训练方法,其特征在于,包括:获取训练样本集,所述训练样本集包括多个训练样本;利用预构建的3D卷积神经网络模型,提取每一训练样本的初始特征向量,其中,不同时长的训练样本的初始特征向量的维度不同;针对每一训练样本,根据预设的加权聚合规则,对所述训练样本的初始特征向量进行加权聚合处理,得到所述训练样本的目标特征向量,每一训练样本的目标特征向量的维度相同;根据所述训练样本集中所有训练样本的目标特征向量,训练得到所述视频检测模型。2.根据权利要求1所述的方法,其特征在于,所述利用预构建的3D卷积神经网络模型,提取每一训练样本的初始特征向量包括:针对每一训练样本,根据预设的切分规则对所述训练样本进行分段处理,得到多个子样本;所有训练样本切分后得到的子样本的时长相同;针对每一子样本,将所述子样本输入预构建的3D卷积神经网络模型,将所述预构建的3D卷积神经网络模型的输出作为所述子样本的初始特征向量,所述子样本的初始特征向量为W*C维的特征向量,W和C分别为大于1的整数;拼接所述多个子样本的初始特征向量W*C,得到所述训练样本的初始特征向量,所述训练样本的初始特征向量为H*W*C维的特征向量,其中,H表示所述训练样本切分后得到的子样本的数量;所述根据预设的加权聚合规则,对所述训练样本的初始特征向量进行加权聚合处理,得到所述训练样本的目标特征向量包括:根据所述训练样本集中所有训练样本的初始特征向量,计算各个通道的通道特征图的聚合值的方差,所述通道为所述初始特征向量的C维,所述通道特征图为所述初始特征向量中H维和W维构成的二维矩阵;按照由大到小的顺序对所述通道特征图的聚合值的方差进行排序,选取前N个方差对应的通道作为目标通道,N为大于或等于1的整数;根据所述目标通道的通道特征图中的特征图激活值和所有目标通道的通道特征图的特征图激活值之和,确定所述目标通道的通道特征图的归一化权重;根据所述目标通道的通道特征图的归一化权重和所述训练样本的初始特征向量,确定所述目标通道的通道特征图的加权和;拼接N个所述目标通道的通道特征图的加权和,得到所述训练样本的目标特征向量。3.根据权利要求1所述的方法,其特征在于,所述根据所述训练样本集中所有训练样本的目标特征向量,训练得到所述视频检测模型包括:根据所述训练样本集中所有训练样本的目标特征向量,对预设的对抗分类网络进行训练,得到所述图像识别模型;所述对抗分类网络包括自编码器和分类器,所述自编码器包括编码器和解码器;所述根据所述训练样本集中所有训练样本的目标特征向量,对预设的对抗分类网络进行训练的过程包括:利用预设的样本重构损失函数,对所述训练样本集中所有训练样本的目标特征向量进行训练,确定所述编码器的第一网络参数以及所述解码器的第一网络参数,并获得所述编
码器基于其第一网络参数对所述目标特征向量进行编码后得到的隐藏层特征向量;利用预设的对抗损失函数,对所述隐藏层特征向量进行训练,确定所述分类器的第二网络参数、所述编码器的第二网络参数以及所述解码器的第二网络参数。4.根据权利要求1所述的方法,其特征在于,所述多个训练样本包括正样本和负样本;所述根据所述训练样本集中所有训练样本的目标特征向量,训练得到所述视频检测模型包括:在所述训练样本集中负样本所占比例大于正样本所占比例的情况下,在训练所述视频检测模型的当前迭代轮次中,对所述训练样本集中的负样本进行采样,获得多个采样负样本,所述采样负样本的数量与所述正样本的数量相同;根据所述采样负样本的目标特征向量和所述正样本的目标特征向量,执行...

【专利技术属性】
技术研发人员:毕泊
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1