视频审核方法、视频审核装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种视频审核方法、视频审核装置、设备和存储介质，视频审核方法包括：获取待审核视频的多帧视频图像；从多帧视频图像中提取违规对象得到多帧违规图像；将每帧违规图像输入预先训练的违规分类模型中，获得违规图像所包含的违规分类以及违规分类的分类得分；基于所有违规图像的违规分类和分类得分确定每个违规分类的分类总得分；根据预设审核条件和每个违规分类的分类总得分审核待审核视频。一方面，提取违规图像输入违规分类模型，使得违规分类模型专注于对违规对象进行处理，提高了视频审核的精确度，同时提取的违规图像可以作为违规惩罚的依据，另一方面，可以根据审核条件选择违规分类对视频进行审核，灵活性高。

Video audit method, video audit device, equipment and storage medium

【技术实现步骤摘要】
视频审核方法、视频审核装置、设备和存储介质
本专利技术实施例涉及视频审核
，尤其涉及一种视频审核方法、视频审核装置、设备和存储介质。
技术介绍
随着互联网技术的发展，短视频、直播等各种新型用户原创内容促使互联网视频越来越丰富，但与此同时，大量包括涉恐、涉暴、色情、政治敏感等违规对象的视频也被生产并在互联网上快速传播。目前，随着机器学习取得长足进步，机器学习被广泛应用于对视频进行自动审核，现有机器学习审核视频方法通常是将整张视频图像作为输入进行处理，需要对训练视频中的图像是否存在违规对象以及违规类别进行人工标注，然后将视频图像及人工标注信息输入到机器学习模型中进行训练，并利用训练得到的模型对视频审核。然而，视频审核业务具有以下特点：第一，错误的审核结果降低用户体验，甚至造成一定的法律后果，对利用机器学习进行视频审核的精确度要求较高，同时为避免造成法律后果，需要对处罚提供明确的依据，比如将视频图像中违反法律规定的违规对象进行识别并定位、提取。第二，视频审核时，视频图像中的违规对象具有清晰的定义，例如身体暴露部位、武器枪支、烟酒、政治符号等等。第三，违规对象具有尺度不一致性，在视频图像中，违规对象以外的区域又极富变化，例如，武器枪支在整张视频图像中的面积占比可大可小，而视频图像的其余面积可以为非违规内容，现有的图像预处理、注意力机制等机器学习技术对于处理背景多变、前景尺度不一致的画面内容具有局限性。第四，审核业务中对于违规对象的定义规则可随时间、地域发生变化，例如，政治因素可能使特定政治符号在不同时期是否违规产生变化，不同国家对不同身体暴露部位的接受程度大不相同。由于上述视频审核业务特点，现有机器学习对视频进行审核存在无法定位、提取违规对象造成审核精确度低以及无法根据审核条件进行灵活审核的问题。
技术实现思路
本专利技术实施例提供一种视频审核方法、视频审核装置、设备和存储介质，以解决现有技术中视频审核存在审核精确度低以及无法根据审核条件进行灵活审核的问题。第一方面，本专利技术实施例提供了一种视频审核方法，包括：获取待审核视频的多帧视频图像；从多帧视频图像中提取违规对象得到多帧违规图像；将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分；基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在每个违规分类上的分类总得分；根据预设审核条件和每个违规分类的分类总得分审核所述待审核视频。第二方面，本专利技术实施例提供了一种视频审核装置，包括：视频图像获取模块，用于获取待审核视频的多帧视频图像；违规图像提取模块，用于从多帧视频图像中提取违规对象得到多帧违规图像；违规分类及得分获取模块，用于将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分；分类总得分确定模块，用于基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在每个违规分类上的分类总得分；审核模块，用于根据预设审核条件和每个违规分类的分类总得分审核所述待审核视频。第三方面，本专利技术实施例提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任一实施例所述的视频审核方法第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任一实施例所述的视频审核方法。本专利技术实施例在获取待审核视频的多帧视频图像后，从多帧视频图像中提取违规对象得到多帧违规图像，并将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分，再基于所有违规图像的违规分类和分类得分确定待审核视频在每个违规分类上的分类总得分，以根据预设审核条件和每个违规分类的分类总得分审核待审核视频，一方面，提取违规对象得到违规图像，将违规图像输入违规分类模型获得违规图像所包含的违规分类和分类得分，避免了根据整张视频图像预测违规分类和分类得分导致无法定位、提取违规对象造成审核精度低的问题，使得违规分类模型专注于对违规对象进行处理，避免了非违规对象背景的干扰，提高了视频审核的精确度，同时提取的违规图像可以作为违规惩罚的依据，另一方面，提供多个违规分类，可以根据预设审核条件选择不同的违规分类对视频进行审核，审核的灵活性高。附图说明图1是本专利技术实施例一提供的一种视频审核方法的步骤流程图；图2A是本专利技术实施例二提供的一种视频审核方法的步骤流程图；图2B为本专利技术视频审核的一个示例的流程图；图3是本专利技术实施例三提供的一种视频审核装置的结构框图；图4是本专利技术实施例四提供的一种设备的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种视频审核方法的步骤流程图，本专利技术实施例可适用于审核视频的情况，该方法可以由本专利技术实施的视频审核装置来执行，该视频审核装置可以由硬件或软件来实现，并集成在本专利技术实施例所提供的设备中，具体地，如图1所示，本专利技术实施例的视频审核方法可以包括如下步骤：S101、获取待审核视频的多帧视频图像。本专利技术实施例中，待审核视频可以是用户上传至直播平台、短视频平台、视频播放平台的视频，还可以是直播过程中实时录制的视频等。对于待审核视频，需要审核视频中是否存在违规对象，其中，违规对象可以是涉及恐怖、色情、身体暴露等内容，或者是与当地法律法规等不符合的政治符号等。在获取待审核视频后，可以按照预设采样周期从待审核视频中采集多帧原始视频图像，并对多帧原始视频图像进行预处理以得到预处理后的多帧视频图像，其中，预处理可以包括图像缩放处理，即将视频图像缩放到指定的尺寸或者分辨率等，具体的，对待审核视频可以按照一定的时间间隔t进行抽帧采样，然后将抽取出的原始视频图像缩放到预定义画面尺寸，得到多帧视频图像。当然，在实际应用中，抽帧采样的方式还可以为抽取视频中的关键帧(I帧)、或者随机采样视频帧、或者按照视频播放时间戳中的设定节点抽取视频帧等等，对视频图像的预处理还可以包括去噪、对比度增强等处理，本专利技术实施例对获取原始视频图像和原始视频图像的处理方式均不加以限制。S102、从多帧视频图像中提取违规对象得到多帧违规图像。其中，违规图像可以为只包括违规对象的图像或者大部分面积为违规对象的图像，即从包含违规对象的视频图像中截取出违规对象的图像。具体地，针对每帧视频图像，可以识别出该视频图像中的违规对象以及违规对象在视频图本文档来自技高网...

【技术保护点】
1.一种视频审核方法，其特征在于，包括：/n获取待审核视频的多帧视频图像；/n从多帧视频图像中提取违规对象得到多帧违规图像；/n将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分；/n基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在每个违规分类上的分类总得分；/n根据预设审核条件和每个违规分类的分类总得分审核所述待审核视频。/n

【技术特征摘要】
1.一种视频审核方法，其特征在于，包括：
获取待审核视频的多帧视频图像；
从多帧视频图像中提取违规对象得到多帧违规图像；
将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分；
基于所有违规图像的所述违规分类和所述分类得分确定所述待审核视频在每个违规分类上的分类总得分；
根据预设审核条件和每个违规分类的分类总得分审核所述待审核视频。


2.根据权利要求1所述的方法，其特征在于，所述获取待审核视频的多帧图像，包括：
按照预设采样周期从待审核视频中采集多帧原始视频图像；
对多帧原始视频图像进行预处理，得到预处理后的多帧视频图像；
其中，所述预处理包括图像缩放处理。


3.根据权利要求1所述的方法，其特征在于，所述从多帧视频图像中提取违规对象得到多帧违规图像，包括：
将每帧视频图像输入预先训练的违规检测模型中，获得每帧视频图像中违规对象的违规信息；
针对每帧视频图像，基于所述违规信息从所述视频图像中提取违规对象得到多帧违规图像。


4.根据权利要求3所述的方法，其特征在于，所述违规信息包括违规对象的位置信息和违规得分，所述针对每帧视频图像，基于所述违规信息从所述视频图像中提取违规对象得到多帧违规图像，包括：
针对每帧视频图像，确定出违规得分大于预设阈值的违规对象；
根据所述位置信息从所述视频图像中提取包含违规得分大于预设阈值的违规对象得到违规图像。


5.根据权利要求3所述的方法，其特征在于，所述违规检测模型通过以下方式训练：
获取训练视频图像，所述训练视频图像包括违规对象以及标注有所述违规对象的第一位置；
将所述训练视频图像输入初始化的违规检测模型中以预测出所述训练视频图像中所述违规对象的第二位置；
采用所述第一位置和所述第二位置计算损失率；
若所述损失率未满足预设条件，则采用所述损失率计算梯度；
基于所述梯度和预设的学习率对所述违规检测模型进行反向传播以调整所述违规检测模型的模型参数，返回将所述训练图像输入初始化的违规检测模型中以预测出所述训练图像中所述违规对象的第二位置的步骤。


6.根据权利要求1所述的方法，其特征在于，所述将每帧违规图像输入预先训练的违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分，包括：
对所述违规图像进行预处理，得到预处理后的违规图像；
将预处理后的违规图像输入违规分类模型中，获得每帧违规图像所包含的违规分类以及各个违规分类的分类得分。


7.根据权利要求1所述的方法，其特征在于，所述违规分类模型通过以下方式训练：
获取训练违规图像，所述训练违规图像标注有所述训练违规图像所包含的违规分类；
将所述训练违规图像输入初始化的违规分类模型中以预测出所述训练违规图像所包含的不同违规分类以及各个违规分类下的分类得分；
采用所述不同违规分类、各个违规分类下的分类得分以及所述训练违规图像中标注的违规分类求交叉熵得到分类损失率；
若所述分类损失率未满足预设条件，则采用所述分类损失率计算梯度；
基于所述梯度和预设的学习率对所述违规分类模型进行反向传播以调...

【专利技术属性】
技术研发人员：杨睿智，石峰，刘振强，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44