基于跨模态识别技术的互联网短视频判违装置及方法制造方法及图纸

本发明专利技术公开了基于跨模态识别技术的互联网短视频判违装置，采用跨模态识别统一框架，包括视频采集模块，用于快速采集视频和下载网上视频并进行解码处理；包括人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块、判违结果显示模块；人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块的处理过程均运行在高性能的GPU计算平台上。本发明专利技术具有快速视频采集和判别处理、能判别多种类别的违规视频、能批量大规模处理短视频、能生成近期违规词汇统计图，协助用户做决策、能进行多维度加密，防止违规信息外泄等功能。

Internet short video violation detection device and method based on cross modal identification technology

【技术实现步骤摘要】
基于跨模态识别技术的互联网短视频判违装置及方法
本专利技术应用于人工智能及网络信息安全领域，涉及人脸识别、物体识别、行为识别、OCR、语音识别、NLP等跨模态识别和信息融合技术，从而实现对海量短视频准确、快速、批量判违的功能，具体是一种基于跨模态识别技术的互联网短视频判违装置及方法。
技术介绍
随着移动互联网的普及以及4G技术的成熟，越来越多的人参与到通过分享短视频来进行社交的潮流中来。在网上分享短视频的成本非常低，使得短视频内容的安全性缺乏保障，很多视频会存在暴力、恐怖、毒品、黄色、政治谣言等不安全因素，这些东西在网上传播速度快，传播的范围广，对国民的意识形态有很大危害。但是由于短视频本身具有数量多，种类杂，质量层次不齐的特点，用肉眼去判别，效率低且不准确。而传统的短视频判违装置，仅仅通过视频的MD5值和标题来判违，准确度不高，会有很大遗漏。要想做好短视频判违装置，必须要基于视频的内容，解决违规视频类别多、违规内容种类多等难题。目前对于短视频判违有需求的客户群体很多，比如公安网安、网信办等政府监管部门、视频内容生产、传播运营商等。这就要求互联网短视频判违装置，必须要能处理格式多样的短视频、在视频采集和判别时要非常快速、能够批量大规模处理海量的短视频、要有很高的准确度并且也要有很高的安全性。
技术实现思路
本专利技术的目的在于克服以上存在的技术问题，提供一种基于跨模态识别技术的互联网短视频判违装置。为实现上述目的，本专利技术采用如下的技术方案：基于跨模态识别技术的互联网短视频判违装置，采用跨模态识别统一框架，包括视频采集模块，用于快速采集视频和下载网上视频并进行解码处理；人脸识别模块，用以识别视频中的人脸信息；物体识别模块，用以标注视频中的物体信息；行为识别模块，用于标注视频中的行为信息；OCR技术模块，用以将字幕转化为文本；语音识别模块，用以将视频中的音频信息转化为文本；自然语言处理模块，用以将文本和样本库进行对比，进行判违和判级；判违结果显示模块，用以呈现违规视频的具体内容，包括视频的标题、违规的类别、违规的等级；高性能GPU，所述高性能GPU采用多线程多进程并行计算技术，能批量大规模处理海量短视频；所述人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块的处理过程均在高性能GPU进行。进一步地，所述视频采集模块为视频快采设备，用于快速采集和下载短视频，并兼容多种视频格式。进一步地，所述视频格式包括AVI、WMV、RM、RMVB、MPEG2、MP4视频格式。进一步地，还包括信息统计分析模块，用于对7天内违规信息中高频主题词和敏感词生成形信息统计分析图。进一步地，还包括加密模块，所述加密模块采用多维度加密技术，保护用户所有数据，防止违规信息外泄。进一步地，所述判违和判级分为三级，三级最高，一级最低。本专利技术还提供一种基于跨模态识别技术的互联网短视频判违方法，包括以下步骤：step1：视频采集，视频快速采集设备对本地视频资源快速采集或者高速下载互联网短视频；step2：解码处理，对短视频资源进行解码处理；step3：并行处理，处理所有解码后的短视频；step4：跨模态处理，对所有视频分别同时进行跨模态处理，对每个视频中的视频信息采用人脸识别、物体识别、行为识别、OCR识别技术，对音频信息采用语音识别技术，将这些信息转化成文本；step5：跨模态判违，对文本信息采用NLP技术，进行判违；step6：输出结果，将每个视频判违的结果呈现出来，包括是否违规、违规种类、违规等级以及高频词汇信息统计分析图；step7：多维度加密，对用户所有数据加密，防止违规信息外泄。进一步地，所述step3：并行处理的具体方法如下：将采集的大量短视频并进行解码处理后，采用多线程多进程并行计算技术，批量大规模处理海量短视频，并且将人脸识别、物体识别、行为识别、OCR识别、语音识别过程放在高性能GPU上进行，使得信息处理更加快速。进一步地，所述step5：跨模态判违的具体方法为：step51：采用大量的训练数据集训练出Ltem神经网络模型，用于精确的文本判违；step52：采用违规短视频特征与神经网络模型融合的技术，对每一级依据视频违规类别分别构建敏感词库和主题词库；step53：通过文本分类、文本过滤，将大量无效的文本信息清理；step54：再通过词库比对，对文本是否涉及主题词汇、敏感信息进行一个初步分析；step55：利用Lstm神经网络模型对文本情感倾向性进行分析，来进一步判断视频的内容是否违规；step56：再通过所有类别的违规词汇分别在文本中所占的比重来判断视频违规的类别；step57：最后，根据违规视频被判断出来的类别，找出相对应的违规词汇出现的位置来判断视频违规的程度，如果有出现在三级样本库的违规词汇，则判为三级；如果没有出现在三级样本库的违规词汇，但有出现在二级样本库的违规词汇，则判为二级；如果只出现在一级样本库则判为一级。进一步地，所述step7：多维度加密采用AES算法。本专利技术与现有技术相比，具有以下几个方面的优点：(1)视频采集和判别非常快速；(2)能批量大规模处理短视频；(3)能判别多种类别的违规视频；(4)能生成近期违规词汇统计图，协助用户做决策；(5)能进行多维度加密，防止违规信息外泄。附图说明图1：本专利技术基于跨模态识别技术的互联网短视频判违装置的架构示意图。图2：本专利技术基于跨模态识别技术的互联网短视频判违方法的流程示意图。图3：本专利技术视频的并行处理过程示意图。图4：本专利技术视频的跨模态处理和判违过程示意图。具体实施方式下面结合附图以及实施例对本专利技术进行详细说明。实施例一：如图1所示，基于跨模态识别技术的互联网短视频判违装置，采用跨模态识别统一框架，快速、准确地判违，包括视频采集模块，用于快速采集视频和下载网上视频并进行解码处理；人脸识别模块，用以识别视频中的人脸信息；物体识别模块，用以标注视频中的物体信息；行为识别模块，用于标注视频中的行为信息；OCR技术模块，用以将字幕转化为文本；语音识别模块，用以将视频中的音频信息转化为文本；自然语言处理模块，用以将文本和样本库进行对比，进行判违和判级，为三级，三级最高，一级最低；判违结果显示模块，用以呈现违规视频的具体内容，包括视频的标题、违规的类别、违规的等级；高性能GPU，所述高性能GPU采用多线程多进程并行计算技术，能批量大规模处理海量短视频；所述人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块的处理过程均在高性能GPU进行，高性能GPU上采用多线程多进程并行计算技术，能批量大规模处理海量短视频。优选地，所述视频采集模块为视频快采设备，用于快速采集和下载短视频，并兼本文档来自技高网...

【技术保护点】
1.基于跨模态识别技术的互联网短视频判违装置，其特征在于：采用跨模态识别统一框架，包括视频采集模块，用于快速采集视频和下载网上视频并进行解码处理；人脸识别模块，用以识别视频中的人物信息；物体识别模块，用以标注视频中的物体信息；行为识别模块，用于标注视频中的行为信息；OCR技术模块，用以将字幕转化为文本；语音识别模块，用以将视频中的音频信息转化为文本；自然语言处理模块，用以将文本和样本库进行对比，进行判违和判级；判违结果显示模块，用以呈现违规视频的具体内容，包括视频的标题、违规的类别、违规的等级；高性能GPU，所述高性能GPU采用多线程多进程并行计算技术，能批量大规模处理海量短视频；所述人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块的处理过程均在高性能GPU计算平台上运行。/n

【技术特征摘要】
1.基于跨模态识别技术的互联网短视频判违装置，其特征在于：采用跨模态识别统一框架，包括视频采集模块，用于快速采集视频和下载网上视频并进行解码处理；人脸识别模块，用以识别视频中的人物信息；物体识别模块，用以标注视频中的物体信息；行为识别模块，用于标注视频中的行为信息；OCR技术模块，用以将字幕转化为文本；语音识别模块，用以将视频中的音频信息转化为文本；自然语言处理模块，用以将文本和样本库进行对比，进行判违和判级；判违结果显示模块，用以呈现违规视频的具体内容，包括视频的标题、违规的类别、违规的等级；高性能GPU，所述高性能GPU采用多线程多进程并行计算技术，能批量大规模处理海量短视频；所述人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块的处理过程均在高性能GPU计算平台上运行。


2.根据权利要求1所述的基于跨模态识别技术的互联网短视频判违装置，其特征在于：所述视频采集模块为视频快采设备，用于快速采集和下载短视频，并兼容多种互联网短视频格式。


3.根据权利要求2所述的基于跨模态识别技术的互联网短视频判违装置，其特征在于：所述视频格式包括AVI、WMV、RM、RMVB、MPEG2、MP4视频格式。


4.根据权利要求1所述的基于跨模态识别技术的互联网短视频判违装置，其特征在于：还包括信息统计分析模块，用于对7-30天内违规信息中高频主题词和敏感词生成形信息统计分析图。


5.根据权利要求1所述的基于跨模态识别技术的互联网短视频判违装置，其特征在于：还包括加密模块，所述加密模块采用多维度加密技术，保护用户所有数据，防止违规信息外泄。


6.根据权利要求1所述的基于跨模态识别技术的互联网短视频判违装置，其特征在于：所述判违和判级分为三级，三级最高，一级最低。


7.基于跨模态识别技术的互联网短视频判违方法，其特征在于，包括以下步骤：
step1：视频采集，视频快速采集设备对本地视频资源快速采集或者高速下载互联网短视频；
step2：解码处理，对短视频资源进行解码处理；
step3：并行处理，处理所有解码后的短视频；...

【专利技术属性】
技术研发人员：袁飞，
申请(专利权)人：北京中科神探科技有限公司，
类型：发明
国别省市：北京;11