视频审核方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种视频审核方法、装置、设备及可读存储介质，电子设备从待审核视频中获取多帧图像，将多帧图像依次输入至视频审核模型以得到每帧图像的识别结果和识别结果的置信度，根据各帧图像的识别结果和置信度确定待审核视频是否为违规视频。其中，每帧图像的识别结果是根据视频审核模型中多目标识别网络包含的多个分支网络的输出结果确定出的。采用该种方案，视频审核模型的多目标识别网络包含多个分支网络，不同分支网络用于识别不同的目标，每个分支网络只关注本分支的目标，通过细化任务目标，使得学习更有目标性，准确率高、速度快。度快。度快。

【技术实现步骤摘要】
视频审核方法、装置、设备及可读存储介质


[0001]本申请涉及人工智能
，特别涉及一种视频审核方法、装置、设备及可读存储介质。

技术介绍

[0002]随着互联网技术繁荣发展，网络上的视频资源众多。视频审核是过滤网络视频资源池中不良或违规内容的重要手段。
[0003]传统技术中，审核人员逐个地将待审核视频(用户自行上传的视频)从头到尾完整播放一遍，在播放待审核视频的过程中，由审核人员对其进行审核。
[0004]然而，人工审核视频的方式费时费力、效率有限，成本高且无法实现大批量的视频审核。

技术实现思路

[0005]本申请提供一种视频审核方法、装置、设备及可读存储介质，采用能够识别多种不同目标的视频审核模型审核视频，准确率高、速度快。
[0006]第一方面，本申请实施例提供一种视频审核方法，包括：
[0007]从待审核视频中获取多帧图像；
[0008]向视频审核模型输入所述多帧图像，以得到所述多帧图像中每帧图像的识别结果和所述识别结果的置信度，所述视频审核模型包括特征提取网络和多目标识别网络，所述多目标识别网络包含多个分支网络，所述多个分支网络中的不同分支网络用于识别不同的目标，所述多帧图像中每帧图像的识别结果是根据所述多个分支网络中每个分支网络的输出结果确定出的；
[0009]根据所述多帧图像中每帧图像的识别结果和所述识别结果的置信度，确定所述待审核视频是否为违规视频。
[0010]第二方面，本申请实施例提供一种视频审核装置，包括：
[0011]获取模块，用于从待审核视频中获取多帧图像；
[0012]处理模块，用于向视频审核模型输入所述多帧图像，以得到所述多帧图像中每帧图像的识别结果和所述识别结果的置信度，所述视频审核模型包括特征提取网络和多目标识别网络，所述多目标识别网络包含多个分支网络，所述多个分支网络中的不同分支网络用于识别不同的目标，所述多帧图像中每帧图像的识别结果是根据所述多个分支网络中每个分支网络的输出结果确定出的；
[0013]确定模块，用于根据所述多帧图像中每帧图像的识别结果和所述识别结果的置信度，确定所述待审核视频是否为违规视频。
[0014]第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时使得所述电子设备实现如上第一方面或第一方面各种可能的实现方式所述的方法。
[0015]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，所述计算机指令在被处理器执行时用于实现如上第一方面或第一方面各种可能的实现方式所述的方法。
[0016]第五方面，本申请实施例提供一种包含计算程序的计算机程序产品，所述计算机程序被处理器执行时实现如上第一方面或第一方面各种可能的实现方式所述的方法。
[0017]本申请实施例提供的视频审核方法、装置、设备及可读存储介质，电子设备从待审核视频中获取多帧图像，将多帧图像依次输入至视频审核模型以得到每帧图像的识别结果和识别结果的置信度，根据各帧图像的识别结果和置信度确定待审核视频是否为违规视频。其中，每帧图像的识别结果是根据视频审核模型中多目标识别网络包含的多个分支网络的输出结果确定出的。采用该种方案，视频审核模型的多目标识别网络包含多个分支网络，不同分支网络用于识别不同的目标，每个分支网络只关注本分支的目标，通过细化任务目标，使得学习更有目标性，准确率高、速度快。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1A是本申请实施例提供的视频审核方法的实施环境示意图；
[0020]图1B是本申请实施例提供的视频审核方法中生成视频审核模型的网络架构图；
[0021]图2是本申请实施例提供的视频审核方法的流程图；
[0022]图3是本申请实施例提供的视频审核方法中训练视频审核模型的过程示意图；
[0023]图4是本申请实施例提供的视频审核方法中视频审核的结构示意图；
[0024]图5是本申请实施例提供的视频审核模型中特征提取网络的结构示意图；
[0025]图6是本申请实施例提供的视频审核模型中多目标识别网络的全连接分类层的结构示意图；
[0026]图7是本申请实施例提供的视频审核方法中注意力模块的结构示意图；
[0027]图8为本申请实施例提供的视频审核方法中基本注意力模块的示意图；
[0028]图9是本申请实施例提供的视频审核方法中多特征融合注意力模块的示意图；
[0029]图10是本申请实施例提供的视频审核方法中多特征融合注意力模块的另一个示意图；
[0030]图11A是本申请实施例提供的视频审核方法中的一种热力图；
[0031]图11B是本申请实施例提供的视频审核方法中的另一种热力图；
[0032]图12A是本申请实施例提供的视频审核方法中的又一种热力图；
[0033]图12B是本申请实施例提供的视频审核方法中的又一种热力图；
[0034]图13是本申请实施例提供的视频审核方法的另一个流程图；
[0035]图14为本申请实施例提供的一种视频审核装置的示意图；
[0036]图15为本申请实施例提供的另一种视频审核装置的示意图；
[0037]图16为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0038]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0039]目前，互联网上的视频日益增多，且大部分以广告、影像日志(Vlog)、短视频等多种形式出现。随着第五代(5G)和第六代(6G)通信技术及物联网的快速发展，视频的数量呈指数增长。现在很多网站都支持并允许用户自行上传视频并展示给公众，用户自行上传的视频可能会存在问题，通常将这些视频叫做不良视频、违规视频等。为了过滤掉违规视频，需要对视频的内容进行审核(简称视频审核)。
[0040]人工审核过程中，审核员将待审核视频从头到尾播放一遍，从而对待审核视频进行审核。这种方式效率低下、成本高。
[0041]随着人工智能(Artificial Intelligence，AI)技术的发展，基于深度学习的违规内容识别方法也逐渐成熟。然而，基于深度学习的视频审核方法一方面依赖大量的训练样本，而违规内容数据相对有限，导致积累训练样本的成本高。另一方面，由于不同模型对违规内容的定义不同，一定程度上增加了训练的难度。
[0042]因此，如何结合有效的深度学习方法，构建高效的视频审核方法，尽可能减少人工干预，实为急待解决的问题。
...

【技术保护点】

【技术特征摘要】
1.一种视频审核方法，其特征在于，包括：从待审核视频中获取多帧图像；向视频审核模型输入所述多帧图像，以得到所述多帧图像中每帧图像的识别结果和所述识别结果的置信度，所述视频审核模型包括特征提取网络和多目标识别网络，所述多目标识别网络包含多个分支网络，所述多个分支网络中的不同分支网络用于识别不同的目标，所述多帧图像中每帧图像的识别结果是根据所述多个分支网络中每个分支网络的输出结果确定出的；根据所述多帧图像中每帧图像的识别结果和所述识别结果的置信度，确定所述待审核视频是否为违规视频。2.根据权利要求1所述的方法，其特征在于，所述特征提取网络用于输出多层层级特征，所述多个分支网络中的每个分支网络包括注意力模块和全连接分类层。3.根据权利要求2所述的方法，其特征在于，所述多个分支网络中至少两个分支网络的注意力模块对应所述多层层级特征中的不同层级特征。4.根据权利要求2所述的方法，其特征在于，所述向视频审核模型输入所述多帧图像，以得到所述多帧图像中每帧图像的识别结果和所述识别结果的置信度，包括：对于所述多帧图像中的目标图像，利用所述特征提取网络提取所述目标图像的特征，以得到所述多层层级特征，所述目标图像是所述多帧图像中的任意一帧图像，所述多层层级特征包括分类层特征和中间层特征；将所述多层层级特征输入所述多个分支网络中的每个分支网络，以得到每个分支网络的输出结果和所述输出结果的置信度；根据所述多个分支网络中每个分支网络的输出结果和所述输出结果的置信度，确定所述目标图像的识别结果和所述识别结果的置信度。5.根据权利要求4所述的方法，其特征在于，所述将所述多层层级特征输入所述多个分支网络中的每个分支网络，以得到每个分支网络的输出结果和所述输出结果的置信度，包括：对于所述多目标识别网络中的目标分支网络，向所述目标分支网络的注意力模块输入对应的层级特征，以得到所述目标分支网络对应的特征向量，所述目标分支网络是所述多个分支网络中的任意一个分支网络；根据所述特征向量和所述分类层特征确定所述目标分支网络的全连接分类层的输入特征；将所述输入特征输入至所述目标分支网络的全连接分类层，以得到所述目标分支网络的输出结果和所述输出结果的置信度。6.根据权利要求4所述的方法，其特征在于，所述根据所述多个分支网络中每个分支网络的输出结果和所述输出结果的置信度，确定所述目标图像的识别结果和所述识别结果的置信度，包括：按照所述输出结果的置信度从高到低的顺序对所述多个分支网络的输出结果排序，将排序靠前的、预设数量的分支网络的输出结果的总和作为所述目标图像的识别结果。7.根据权利要求5所述的方法，其特征在于，
所述多个分支网络中存在至少一个第一分支网络，所述第一分支网络的注意力模块对应的层级特征为所述特征提取网络的中间层特征中的至少一个，或者，所述第一分支网络的注意力模块对应的层级特征为所述分类层特征和所述中间层特征中的至少一个。8.根据权利要求5所述的方法，其特征在于，所述多个分支网络...

【专利技术属性】
技术研发人员：余养强，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：