视频违规内容检测的方法、装置以及存储介质制造方法及图纸

本申请公开了一种视频违规内容检测的方法、装置以及存储介质。其中，一种视频违规内容检测的方法包括：获取待检测视频；根据预先设置的视频处理方法提取待检测视频中的视频帧、视频片段以及音频；对视频帧的图像进行违规内容识别，并确定待检测视频的第一违规内容检测结果；对视频片段进行违规内容识别，并确定待检测视频的第二违规内容检测结果；对音频进行违规内容识别，并确定待检测视频的第三违规内容检测结果；以及根据的第一违规内容检测结果、第二违规内容过检测结果以及第三违规内容过检测结果，确定待检测视频的第四违规内容检测结果。

Methods, devices and storage media for video content detection

【技术实现步骤摘要】
视频违规内容检测的方法、装置以及存储介质
本申请涉及计算机
，特别是涉及一种视频违规内容检测的方法、装置以及存储介质。
技术介绍
随着计算机网络技术的发展，出现了越来越多的为用户提供上传、分享视频服务的互联网服务提供商，导致互联网中的视频数量呈现井喷式增长，这对视频内容的监控提出了更高的要求，人工审核的方式已经远远无法满足需求。近些年出现了自动化的视频内容监控解决方案，现有的视频违规内容检测的方法是通过提取视频中的一部分视频帧和音频分别进行检测，只要存在违规即视为违规视频，不仅没有考虑视频的连续信息，也没有对违规内容过检测的结果进行综合的处理，鲁棒性不足。针对上述的现有技术中存在的视频违规内容检测方法提取视频中的一部分视频帧和音频分别进行检测，只要存在违规即视为违规视频，不仅没有考虑视频的连续信息，也没有对违规内容过检测的结果进行综合的处理，鲁棒性不足的技术问题，目前尚未提出有效的解决方案。
技术实现思路
本公开的实施例提供了一种视频违规内容检测的方法、装置以及存储介质，以至少解决现有技术中存在的视频违规内容检测方法提取视频中的一部分视频帧和音频分别进行检测，只要存在违规即视为违规视频，不仅没有考虑视频的连续信息，也没有对违规内容过检测的结果进行综合的处理，鲁棒性不足的技术问题。根据本公开实施例的一个方面，提供了一种视频违规内容检测的方法，包括：获取待检测视频；根据预先设置的视频处理方法提取待检测视频中的视频帧、视频片段以及音频；对视频帧的图像进行违规内容识别，并确定待检测视频的第一违规内容检测结果，其中第一违规内容检测结果用于确定待检测视频中的目标对象；对视频片段进行违规内容识别，并确定待检测视频的第二违规内容检测结果，其中第二违规内容检测结果用于确定待检测视频的行为标签；对音频进行违规内容识别，并确定待检测视频的第三违规内容检测结果，其中第三违规内容检测结果用于确定待检测视频的音频的类别标签；以及根据的第一违规内容检测结果、第二违规内容过检测结果以及第三违规内容过检测结果，确定待检测视频的第四违规内容检测结果，其中第四违规内容检测结果用于确定待检测视频的最终的违规内容识别结果。根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。根据本公开实施例的另一个方面，还提供了一种视频违规内容检测的装置，包括：待检测视频获取模块，用于获取待检测视频；提取模块，用于根据预先设置的视频处理方法提取待检测视频中的视频帧、视频片段以及音频；第一违规内容检测结果确定模块，用于对视频帧的图像进行违规内容识别，并确定待检测视频的第一违规内容检测结果，其中第一违规内容检测结果用于确定待检测视频中的目标对象；第二违规内容检测结果确定模块，用于对视频片段进行违规内容识别，并确定待检测视频的第二违规内容检测结果，其中第二违规内容检测结果用于确定待检测视频的行为标签；第三违规内容检测结果确定模块，用于对音频进行违规内容识别，并确定待检测视频的第三违规内容检测结果，其中第三违规内容检测结果用于确定待检测视频的音频的类别标签；以及第四违规内容检测结果确定模块，用于根据的第一违规内容检测结果、第二违规内容过检测结果以及第三违规内容过检测结果，确定待检测视频的第四违规内容检测结果，其中第四违规内容检测结果用于确定待检测视频的最终的违规内容识别结果。根据本公开实施例的另一个方面，还提供了一种视频违规内容检测的装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取待检测视频；根据预先设置的视频处理方法提取待检测视频中的视频帧、视频片段以及音频；对视频帧的图像进行违规内容识别，并确定待检测视频的第一违规内容检测结果，其中第一违规内容检测结果用于确定待检测视频中的目标对象；对视频片段进行违规内容识别，并确定待检测视频的第二违规内容检测结果，其中第二违规内容检测结果用于确定待检测视频的行为标签；对音频进行违规内容识别，并确定待检测视频的第三违规内容检测结果，其中第三违规内容检测结果用于确定待检测视频的音频的类别标签；以及根据的第一违规内容检测结果、第二违规内容过检测结果以及第三违规内容过检测结果，确定待检测视频的第四违规内容检测结果，其中第四违规内容检测结果用于确定待检测视频的最终的违规内容识别结果。从而根据本实施例的技术方案，计算设备通过提取待检测视频中的视频帧、视频片段以及音频，以及提取视频帧的图像的第一文本信息和音频中的第二文本信息，然后分别得出待检测视频的第一违规内容检测结果、第二违规内容检测结果、第三违规内容检测结果以及第五违规内容检测结果，从而确定了待检测视频的最终检测结果，即第四违规内容检测结果。通过这种方法达到了从待检测视频的图像、视频片段、人脸、物体、语音以及文字等各个角度对待检测视频进行违规内容识别分析，真正做到了全面检测视频的违规内容。与此同时，第四违规内容检测结果涵盖了视频帧和视频片段在待检测视频帧中的时域位置，进而能更加精确的定位待检测视频的违规内容。进而解决了现有技术中存在的视频违规内容检测方法提取视频中的一部分视频帧和音频分别进行检测，只要存在违规即视为违规视频，不仅没有考虑视频的连续信息，也没有对违规内容过检测的结果进行综合的处理，鲁棒性不足的技术问题。附图说明此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；图2是根据本公开实施例1所述的视频违规内容检测的方法的流程示意图；图3A是根据本公开实施例1的所述的视频违规内容检测的方法的进一步流程示意图；图3B是根据本公开实施例1的所述多模态融合结果的示意图；图3C是根据本公开实施例1的所述视频帧和视频片段在待检测视频中的时域位置的示意图；图4是根据本公开实施例2的所述的视频违规内容检测的装置的示意图；以及图5是根据本公开实施例3的所述的视频违规内容检测的装置的示意图。具体实施方式为了使本
的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产本文档来自技高网...

【技术保护点】
1.一种视频违规内容检测的方法，其特征在于，包括：/n获取待检测视频；/n根据预先设置的视频处理方法提取所述待检测视频中的视频帧、视频片段以及音频；/n对所述视频帧的图像进行违规内容识别，并确定所述待检测视频的第一违规内容检测结果，其中所述第一违规内容检测结果用于确定所述待检测视频中的目标对象；/n对所述视频片段进行违规内容识别，并确定所述待检测视频的第二违规内容检测结果，其中所述第二违规内容检测结果用于确定所述待检测视频的行为标签；/n对所述音频进行违规内容识别，并确定所述待检测视频的第三违规内容检测结果，其中所述第三违规内容检测结果用于确定待检测视频的音频的类别标签；以及/n根据所述的第一违规内容检测结果、第二违规内容过检测结果以及第三违规内容过检测结果，确定所述待检测视频的第四违规内容检测结果，其中所述第四违规内容检测结果用于确定所述待检测视频的最终的违规内容识别结果。/n

【技术特征摘要】
1.一种视频违规内容检测的方法，其特征在于，包括：
获取待检测视频；
根据预先设置的视频处理方法提取所述待检测视频中的视频帧、视频片段以及音频；
对所述视频帧的图像进行违规内容识别，并确定所述待检测视频的第一违规内容检测结果，其中所述第一违规内容检测结果用于确定所述待检测视频中的目标对象；
对所述视频片段进行违规内容识别，并确定所述待检测视频的第二违规内容检测结果，其中所述第二违规内容检测结果用于确定所述待检测视频的行为标签；
对所述音频进行违规内容识别，并确定所述待检测视频的第三违规内容检测结果，其中所述第三违规内容检测结果用于确定待检测视频的音频的类别标签；以及
根据所述的第一违规内容检测结果、第二违规内容过检测结果以及第三违规内容过检测结果，确定所述待检测视频的第四违规内容检测结果，其中所述第四违规内容检测结果用于确定所述待检测视频的最终的违规内容识别结果。


2.根据权利要求1所述的方法，其特征在于，对所述视频帧的图像进行违规内容识别的操作包括：
根据预先设置的图像分类模型，对所述图像进行分类，确定所述图像的类别，所述图像的类别用户指示所述图像违规的类型；
根据预先设置的物体检测模型，检测所述图像中的物体，确定所述图像中违规物体的信息，其中所述违规物体的信息用于指示所述图像中物体的位置信息以及违规物体类型信息；
根据预先设置的文本识别模型，识别所述图像中的第一文本信息，并输出所述图像的第一文本信息；
根据预先设置的人脸识别模型，识别所述图像中的人脸，确定所述图像中人脸的信息，其中所述人脸的信息用于指示所述人脸的位置信息以及人脸的对象的身份信息；以及
根据所述图像的类别、所述图像中违规物体的信息以及所述图像中人脸的信息确定所述第一违规内容检测结果。


3.根据权利要求1所述的方法，其特征在于，对所述视频片段进行违规内容识别的操作包括：
确定所述视频片段的行为标签，其中所述行为标签用于指示所述视频片段的违规类型；以及
根据所述行为标签，确定所述第二违规内容检测结果。


4.根据权利要求1所述的方法，其特征在于，对所述音频进行违规内容识别的操作包括：
根据预先设置的声音分类模型，对所述音频进行分类，输出所述音频的类别标签，其中所述类别标签用于指示所述音频的声音的违规类别；
根据所述音频的类别标签，确定所述第三违规内容检测结果；以及
根据预先设置的语音识别模型，对所述音频中的语音进行识别，并输出所述音频中的第二文本信息。


5.根据权利要求1所述的方法，其特征在于，根据所述的第一违规内容检测结果、第二违规内容检测结果以及第三违规内容检测结果，确定所述待检测视频的第四违规内容检测结果，包括：
对所述视频帧的图像进行违规内容识别的操作包括：根据预先设置的图像分类模型，对所述图像进行分类，确定所述图像的类别，所述图像的类别用户指示所述图像违规的类型；根据预先设置的物体检测模型，检测所述图像中的物体，确定所述图像中违规物体的信息，其中所述违规物体的信息用于指示所述图像中物体的位置信息以及违规物体类型信息；根据预先设置的文本识别模型，识别所述图像中的第一文本信息，并输出所述图像的第一文本信息；根据预先设置的人脸识别模型，识别所述图像中的人脸，确定所述图像中人脸的信息，其中所述人脸的信息用于指示所述人脸的位置信息以及人脸的对象的身份信息；以及根据所述图像的类别、所述图像中违规物体的信息以及所述图像中人脸的信息确定所述第一违规内容检测结果，
对所述音频进行违规内容识别的操作包括：根据预先设置的声音分类模型，对所述音频进行分类，输出所述音频的类别标签，其中所述类别标签用于指示所述音频的声音的违规类别；根据所述音频的类别标签，确定所述第三违规内容检测结果；以及根据预先设置的语音识别模型，对所述音频中的语音进行识别，并输出所述音频中的第二文本信息，并且
根据预先设置的文本信息分类模型，对所述第一文本信息和第二文本信息进行违规内容检测，确定所述第一文本信息和所述第二文本信息的违规标签，其中所述违规标签用于指示所...

【专利技术属性】
技术研发人员：刘洋，杨文鲜，王新然，李云飞，傅景楠，
申请(专利权)人：云目未来科技北京有限公司，
类型：发明
国别省市：北京;11