视频审核方法和系统、计算机系统和计算机可读存储介质技术方案

本公开涉及一种视频审核方法和系统、计算机系统、和计算机可读存储介质，涉及深度学习和图像处理领域。视频审核方法包括：确定视频物料的一个或多个视频标签及其置信分数；确定视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及根据一个或多个视频标签及其置信分数和一个或多个帧标签及其置信分数，对视频物料进行机器审核。

【技术实现步骤摘要】
视频审核方法和系统、计算机系统和计算机可读存储介质
本公开涉及图像处理领域，尤其涉及一种视频审核方法和系统、计算机系统和计算机可读存储介质。
技术介绍
当今，互联网上的视频物料日益增多，且大部分以广告、影像日志(Vlog)、短视频等多种形式出现。随着第五代(5G)和第六代(6G)通信技术及物联网的快速发展，视频物料的数量将呈指数增长，随之而来的是各类非法敏感信息、商标侵权、用户体验等各种问题将出现在视频物料中。目前的视频审核方法主要采用如下三种方式：(1)全部人工审核。审核员基于随机抽取的视频帧的展示、视频播放、视频倍速播放等方式对视频物料进行审核，审核的时效性取决于人力的多少及审核平台的便捷性。(2)全部机器审核。某些产品线全部采用机器审核策略对视频物料进行审核，视频物料只有拒绝和通过状态，无人工审核介入环节。(3)机器审核和人工审核相结合。在帧维度上结合光学字符识别(OCR)、人脸识别、目标检测等深度学习方法和机器审核策略对视频物料的关键帧进行审核，并且在视频物料通过机器审核的情况下进一步对其进行人工复审。
技术实现思路
根据本公开的第一方面，本公开的实施例提供了一种视频审核方法，包括：确定视频物料的一个或多个视频标签及其置信分数；确定视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及根据一个或多个视频标签及其置信分数和一个或多个帧标签及其置信分数，对视频物料进行机器审核。根据本公开的第二方面，本公开的实施例提供了一种视频审核系统，包括：第一确定单元，被配置为确定视频物料的一个或多个视频标签及其置信分数；第二确定单元，被配置为确定视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及审核执行单元，被配置为根据一个或多个视频标签及其置信分数和一个或多个帧标签及其置信分数，对视频物料进行机器审核。根据本公开的第三方面，本公开的实施例提供了一种计算机系统，包括：一个或多个处理器；以及存储装置，其上存储有计算机程序，该计算机程序当被一个或多个处理器执行时，使得一个或多个处理器实现如上所述的视频审核方法。根据本公开的第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序当被处理器执行时，使得处理器实现如上所述的视频审核方法。在根据本公开的一个或多个实施例中，结合使用视频物料的一个或多个视频标签和视频物料的多个帧中的至少一个帧的一个或多个帧标签对视频物料进行审核，能够提高视频审核的准确率和召回率中的至少一个。附图说明附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于说明实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。图1是示出根据本公开实施例的视频审核方法的流程图；图2是示出根据本公开实施例的视频审核方法中使用的示例标签体系的示意图；图3是示出图2所示的步骤S106的具体处理的流程图；图4是示出根据本公开实施例的供人工审核的示例视频队列的示意图；图5是示出根据本公开实施例的基于人工审核结果的数据回流机制的示意图；图6是示出根据本公开实施例的视频审核系统的框图；图7是示出能够应用于示例实施例的示例性计算机系统的结构框图。具体实施方式在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素并不意图限定这些要素的位置关系、时序关系、或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以结合在同一个单元中，也可以进一步划分为多个单元。在本公开中对各种实施例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。下面结合附图和实施例对本公开进行进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关专利技术，而非对该专利技术的限定。另外，还需要说明的是，为了便于描述，附图中仅示出了与相关专利技术相关的部分。针对现有的视频审核方法存在的人工成本大、审核效率低、和/或准确率和召回率不高等问题，提出了一种视频审核方法和系统。下面结合附图，详细描述根据本公开实施例的视频审核方法和系统。图1是示出根据本公开实施例的视频审核方法100的流程图。如图1所示，视频审核方法100包括：步骤S102，确定视频物料的一个或多个视频标签及其置信分数；步骤S104，确定视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，至少一个帧中的每个帧具有至少一个帧标签；以及步骤S106，根据视频物料的一个或多个视频标签及其置信分数和视频物料中的至少一个帧的一个或多个帧标签及其置信分数，对视频物料进行机器审核。这里，视频物料的多个帧中用于视频审核的至少一个帧可以是视频物料中的至少一个关键帧。当视频物料通过机器审核时，可以进一步对视频物料进行人工审核，也可以直接允许视频物料的后续应用。当视频物料未通过机器审核时，可以无需进一步对视频物料进行人工审核，即直接拒绝视频物料的后续应用。根据本公开实施例的视频审核方法，结合使用视频物料的视频标签和视频物料的多个帧中的至少一个帧的帧标签对视频物料进行审核，相比仅利用帧标签的视频审核方法能够提高机器审核的准确率和召回率中的至少一个。由于能够提高机器审核的准确率和召回率中的至少一个，因此对人工审核的依赖性减小，因此可潜在节省人工成本以提高审核效率。在一些实施例中，可以根据业务需要在网络上收集视频数据，并利用所收集的视频数据对在Kinetics、UCF101、SomethingV1&V2等公开数据集上预先训练好的分类模型进行训练，得到适用于视频审核的视频分类模型。随着深度学习的发展，可以将卷积神经网络(CNN)、双向长短记忆网络(LSTM)、门控制循环单元网络(GRU)、三维卷积神经网络(3D-CNN)、双流法、时间移位模块(TSM)中的一种或多种技术应用在视频分类模型中，以既考虑视频物料的RGB帧信息又结合视频物料的帧间关联信息(例如，帧间光流信息)进行视频分类，从而提高视频分类的准确率和速度。另外，针对每个视频物料可以确定多个标签，采用图神经网络对该多个标签之间的相关性进行建模，将相关性模型加入到视频分类模型中可以提升视频分类模型的学习泛化能力。在一些实施例中，可以使用视频分类模型对视频物料进行分类，以确定视频物料的一个或多个视频标签及其置信分数，该视频分类模型可本文档来自技高网...

【技术保护点】
1.一种视频审核方法，包括：/n确定视频物料的一个或多个视频标签及其置信分数；/n确定所述视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，所述至少一个帧中的每个帧具有至少一个帧标签；以及/n根据所述一个或多个视频标签及其置信分数和所述一个或多个帧标签及其置信分数，对所述视频物料进行机器审核。/n

【技术特征摘要】
1.一种视频审核方法，包括：
确定视频物料的一个或多个视频标签及其置信分数；
确定所述视频物料的多个帧中的至少一个帧的一个或多个帧标签及其置信分数，其中，所述至少一个帧中的每个帧具有至少一个帧标签；以及
根据所述一个或多个视频标签及其置信分数和所述一个或多个帧标签及其置信分数，对所述视频物料进行机器审核。


2.如权利要求1所述的视频审核方法，其中，对所述视频物料进行机器审核包括：
根据所述一个或多个视频标签及其置信分数，对所述视频物料进行视频维度审核；
在所述视频物料通过所述视频维度审核的情况下，根据所述一个或多个帧标签及其置信分数，对所述视频物料进行帧维度审核；以及
在所述视频物料未通过所述视频维度审核的情况下，拒绝所述视频物料的后续应用。


3.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述视频维度审核包括：
判断所述一个或多个视频标签中表示风险的视频标签的置信分数是否均小于相应的阈值，如果否，则判定所述视频物料未通过所述视频维度审核，拒绝所述视频物料的后续应用。


4.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述视频维度审核包括：
计算所述一个或多个视频标签的置信分数的至少一个加权和；以及
判断所述至少一个加权和是否均小于相应的阈值，如果否，则判定所述视频物料未通过所述视频维度审核，拒绝所述视频物料的后续应用。


5.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述帧维度审核包括：
判断所述一个或多个帧标签的置信分数是否均小于相应的阈值，如果否，则判定所述视频物料未通过所述帧维度审核，拒绝所述视频物料的后续应用，
其中，所述相应的阈值基于所述一个或多个视频维度标签和所述一个或多个视频维度标签的置信分数中的至少一者而被确定。


6.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述帧维度审核包括：
计算所述一个或多个视频标签的置信分数与所述一个或多个帧标签的置信分数的至少一个加权和；以及
判断所述至少一个加权和是否均小于相应的阈值，如果否，则判定所述视频物料未通过所述帧维度审核，拒绝所述视频物料的后续应用。


7.如权利要求2所述的视频审核方法，其中，对所述视频物料进行所述帧维度审核包括：
对所述视频物料进行第一帧维度审核；
对所述视频物料进行第二帧维度审核，其中
在所述视频物料通过所述第一帧维度审核和所述第二帧维度审核的情况下，允许所述视频物料的后续应用，
在所述视频物料未通过所述第一帧维度审核的情况下，拒绝所述视频物料的后续应用，
在所述视频物料通过所述第一帧维度审核且未通过所述第二帧维度审核的情况下，所述机器审核指示需要继续进行人工审核。


8.如权利要求7所述的视频审核方法，其中，对所述视频物料进行所述第一帧维度审核包括判断所述一个或多个帧标签的置信分数是否均小于一个或多个第一阈值中的相应第一阈值，如果是，则判定所述视频物料通过所述第一帧维度审核，否则判定所述视频物料未通过所述第一帧维度审核，
对所述视频物料进行所述第二帧维度审核包括判断所述一个或多个帧标签的置信分数是否均小于一个或多个第二阈值中的相应第二阈值，如果是，则判定所述视频物料通过所述第二帧维度审核，否则判定所述视频物料未通过所述第二帧维度审核，其中
对于每个帧标签，所述第一阈值大于所述第二阈值。


9.如权利要求1或7所述的视频审核方法，其中，在所述机器审核指示需要继续进行人工审核的情况下，根据所述一个或多个视频标签的置信分数和所述一个或多个帧标签的置信分数，将所述视频物料添加到供人工审核的视频队列中。


10.如权利要求9所述的视频审核方法，其中，根据所述一个或多个视频标签的置信分数和所述一个或多个帧标签的置信分数，将所述视频物料添加到所述供人工审核的视频队列中包括：
根据所述一个或多个视频标签的置信分数和所述一个或多个帧标签的置信分数，确定所述视频物料的视频优先级权重因子；以及
根据所述视频物料的所述视频优先级权重因子，将所述视频物料添加到...

【专利技术属性】
技术研发人员：孙斌，焦大原，刘亚萍，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11