基于多模态信息的视频内容审查系统及方法技术方案

本发明专利技术公开了一种基于多模态信息的视频内容审查系统和方法，该系统包括内容审查子系统和质量审查子系统，内容审查子系统包括：预处理模块、多模态匹配模块、内容数据库；其中，多模态匹配模块包括台标识别匹配单元和旗帜识别匹配单元；预处理模块对视频进行预处理，提取视频中的关键帧和关键片段；多模态匹配模块搜索内容数据库并对关键帧进行匹配，而对于关键片段，多模态匹配模块内并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配。本发明专利技术能够实现利用计算机即互联网进行自动的视频内容审查，并且以人工检查为复核与辅助，能够缩短视频审查周期，并且提高审查效果。

Video content examination system and method based on multi-modal information

The invention discloses a video content examination system and method based on multi modal information, the system includes content examination subsystem and quality examination subsystem, including the contents of the review system: pretreatment module, multi modal matching module, a content database; the multi modal matching module includes a matching unit and a flag logo identification recognition unit; preprocessing module of video preprocessing, key frames and key fragments are extracted; multi modal matching module to match the key frame content database and search for key fragments within the module parallel image recognition, face, text, logo, slogan and banner of multi modal matching. The invention can realize the automatic video content review by using the computer and the Internet, and can be used for checking and assisting with the manual inspection, which can shorten the period of video examination and improve the examination effect.

【技术实现步骤摘要】

本专利技术涉及视频内容关系系统及其方法，更具体地说，涉及一种基于多模态信息的视频内容审查系统及方法。
技术介绍
视频内容审查是在当今互联网形势下的最要管理手段，尤其是在今后的三网融合之后，面对海量的互联网内容，对于内容的审查是一个严峻的考验。视频内容是相对比较困难的一类内容审查，其审查难度要高于单纯的文字、图像、声音等，这是由于视频是一系列图像、声音的组合，并且其具有播放时间长、内容多、动态性等特征。目前，网络视频内容的审查仍然主要依靠人工，技术手段的自动审查主要停留在文字内容，对图像、声音等多媒体、多模态的内容没有较好的解决方案。
技术实现思路
针对现有技术中存在的视频内容主要依靠人工，没有较好的技术手段进行自动审查的问题，本专利技术的目的是提供一种基于多模态信息的视频内容审查系统及方法。为实现上述目的，本专利技术采用如下技术方案：一种基于多模态信息的视频内容审查方法，包括内容审查步骤和质量审查步骤，内容审查步骤包括：对视频进行预处理，提取视频中的关键帧和关键片段；搜索内容数据库对关键帧进行匹配，而对于关键片段，并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；台标识别和匹配包括以下步骤：构建台标样本库；提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例；通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域；提取待测区域中的梯度直方图特征，判断是否存在待测台标；旗帜识别和匹配包括以下步骤：采集样本集；对样本图片进行预处理，包括分割图像，获取图像色彩值的范围；对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。根据本专利技术的一实施例，人脸识别包括以下步骤：构建边缘人脸；提取互补特征；采用并行识别网络进行人脸识别。根据本专利技术的一实施例，内容审查步骤还包括以下步骤：将关键帧和关键片段的匹配结果合并，并且标示出带有敏感内容的关键帧和关键片段在视频中的位置以及敏感内容的类别；对敏感内容进行复查，并且将复查的结果反馈至内容数据库，内容数据库对敏感内容进行更新。根据本专利技术的一实施例，质量审查步骤包括：检测有方块形状边沿的图像区域，利用视频帧前处理、模板匹配、空间投票方法，检测视频中的马赛克区域；对视频的帧进行区域分割和色彩识别，检测视频中的黑场、彩条和其他颜色彩屏；检测视频中超过一定时长的静音内容，并标明静音内容的位置和时长。为实现上述目的，本专利技术还采用如下技术方案：一种基于多模态信息的视频内容审查系统，包括内容审查子系统和质量审查子系统，内容审查子系统包括：预处理模块、多模态匹配模块、内容数据库；其中，多模态匹配模块包括台标识别匹配单元和旗帜识别匹配单元；预处理模块对视频进行预处理，提取视频中的关键帧和关键片段；多模态匹配模块搜索内容数据库并对关键帧进行匹配，而对于关键片段，多模态匹配模块内并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；台标识别匹配单元首先构建台标样本库；其次提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例，再次通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域，最后提取待测区域中的梯度直方图特征，判断是否存在待测台标；旗帜识别匹配单元首先采集样本集，其次对样本图片进行预处理，包括分割图像，获取图像色彩值的范围，最后对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。根据本专利技术的一实施例，多模态匹配模块还包括人脸识别单元，人脸识别单元首先构建边缘人脸，其次提取互补特征，最后采用并行识别网络进行人脸识别。根据本专利技术的一实施例，内容审查系统还包括：协同判定模块，将关键帧和关键片段的匹配结果合并，并且标示出带有敏感内容的关键帧和关键片段在视频中的位置以及敏感内容的类别；外部审查接口，对敏感内容进行复查，并且将复查的结果反馈至内容数据库，内容数据库对敏感内容进行更新。根据本专利技术的一实施例，质量审查系统包括马赛克检测模块、色彩检测模块、声音检测模块；马赛克检测模块检测有方块形状边沿的图像区域，利用视频帧前处理、模板匹配、空间投票方法，检测视频中的马赛克区域；色彩检测模块对视频的帧进行区域分割和色彩识别，检测视频中的黑场、彩条和其他颜色彩屏；声音检测模块检测视频中超过一定时长的静音内容，并标明静音内容的位置和时长。在上述技术方案中，本专利技术的基于多模态信息的视频内容审查系统及方法能够实现利用计算机即互联网进行自动的视频内容审查，并且以人工检查为复核与辅助，能够缩短视频审查周期，并且提高审查效果。附图说明图1是本专利技术的流程图；图2是本专利技术的系统部分结构图；图3是人脸识别流程图；图4是文本识别流程图；图5是标语识别流程图；图6是马赛克检测流程图；图7是黑场检测流程图；图8是静音检测流程图。具体实施方式下面结合附图和实施例进一步说明本专利技术的技术方案。本专利技术公开一种基于多模态信息的视频内容审查系统及其对应的审查方法。本专利技术的系统包括内容审查子系统和质量审查子系统，及其对应的方法。视频内容审查：面向视频文件和图像文件，支持包括黄色和政治敏感内容库在内的敏感内容检测。功能上包括敏感视频数据库的可更新、敏感视频内容数据库3可检索、基于内容相似度的视频分割、给定视频内容高层语义概念自动标注、视频字幕及语音信息的融合语义分析、基于多模态特征的内容敏感性评估、敏感内容与标注协同呈现、人工反馈记录等。视频质量审查：面向视频文件，支持黑屏、彩条、静音、马赛克等视频节目质量损伤的检测。功能上包括视频质量损伤自动检测、视频帧信息与损伤标注协同呈现等。如图2所示，内容审查子系统包括：预处理模块1、多模态匹配模块2、内容数据库3、协同判定模块4和外部审查接口5。此外，多模态匹配模块2又进一步包括台标识别匹配单元22、人脸识别单元23、场景检测单元24、文字检测单元25、旗帜识别匹配单元21等。如图1和图2所示，预处理模块1对视频进行预处理，提取视频中的关键帧和关键片段。多模态匹配模块2搜索内容数据库3并对关键帧进行匹配，而对于关键片段，多模态匹配模块2内并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配。协同判定模块4将关键帧和关键片段的匹配结果合并，并且标示出带有敏感内容的关键帧和关键片段在视频中的位置以及敏感内容的类别。外部审查接口5对敏感内容进行复查，并且将复查的结果反馈至内容数据库3，内容数据库3对敏感内容进行更新。具体来说，如图1所示，首先对输入视频进行多层分割处理，生成关键帧和视频片段。对视频片段和关键帧，提取多模态语义特征，并评估其内容敏感性。对视频关键帧，通过与敏感内容数据库3内的图像匹配决定其内容敏感性。最后将机器推荐的敏感内容及其相关信息融合并呈现给专业编辑，由专业编辑最终判定其敏感性。专业编辑的判断结果将被反馈到敏感内容数据库3和用于实时更新内容敏感性评估模型。台标识别台标识别匹配单元22首先构建台标样本库，其次提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例，再次通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域，最后提取待测区域中的梯度直方图特征，判断是否存本文档来自技高网...

【技术保护点】
一种基于多模态信息的视频内容审查方法，包括内容审查步骤和质量审查步骤，其特征在于，所述内容审查步骤包括：对视频进行预处理，提取视频中的关键帧和关键片段；搜索内容数据库对所述关键帧进行匹配，而对于关键片段，并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；台标识别和匹配包括以下步骤：构建台标样本库；提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例；通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域；提取待测区域中的梯度直方图特征，判断是否存在待测台标；旗帜识别和匹配包括以下步骤：采集样本集；对样本图片进行预处理，包括分割图像，获取图像色彩值的范围；对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。

【技术特征摘要】
1.一种基于多模态信息的视频内容审查方法，包括内容审查步骤和质量审查步骤，其特征在于，所述内容审查步骤包括：对视频进行预处理，提取视频中的关键帧和关键片段；搜索内容数据库对所述关键帧进行匹配，而对于关键片段，并行进行台标、人脸、文字、标语、旗帜的图像识别和匹配；台标识别和匹配包括以下步骤：构建台标样本库；提取待测台标的颜色特征，确定其主颜色的参数范围与面积比例；通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到待测台标可能出现的待测区域；提取待测区域中的梯度直方图特征，判断是否存在待测台标；旗帜识别和匹配包括以下步骤：采集样本集；对样本图片进行预处理，包括分割图像，获取图像色彩值的范围；对图像进行腐蚀、膨胀、分割和形状分析，将无关区域去除，留下旗帜的区域图片。2.如权利要求1所述的基于多模态信息的视频内容审查方法，其特征在于，所述人脸识别包括以下步骤：构建边缘人脸；提取互补特征；采用并行识别网络进行人脸识别。3.如权利要求1所述的基于多模态信息的视频内容审查方法，其特征在于，内容审查步骤还包括以下步骤：将关键帧和关键片段的匹配结果合并，并且标示出带有敏感内容的关键帧和关键片段在视频中的位置以及敏感内容的类别；对敏感内容进行复查，并且将复查的结果反馈至所述内容数据库，内容数据库对敏感内容进行更新。4.如权利要求1所述的基于多模态信息的视频内容审查方法，其特征在于，质量审查步骤包括：检测有方块形状边沿的图像区域，利用视频帧前处理、模板匹配、空间投票方法，检测视频中的马赛克区域；对视频的帧进行区域分割和色彩识别，检测视频中的黑场、彩条和其他颜色彩屏；检测视频中超过一定时长的静音内容，并标明静音内容的位置和时长。5.一种基于多模态信息的视频内容审查系统，包括内容审查子系统和质量审查子系统，其特征在于，所述内容审查子系统包括：预处理模块、多模态匹配模块、内容数据库；其中，多模态匹配...

【专利技术属性】
技术研发人员：袁政，陆伟，许颖浩，
申请(专利权)人：上海文广互动电视有限公司，
类型：发明
国别省市：上海;31