基于相似性的恶意信息检测方法、装置及处理器制造方法及图纸

本申请涉及深度学习中的图像和文本识别领域，具体涉及一种基于相似性的恶意信息检测方法、装置、存储介质及处理器。方法包括：提取所述待审核图片的图像信息；计算所述图像信息与预设恶意图片库中的恶意图像信息之间的第一相似度；基于第一相似度判断待审核图片是否为恶意图片；判断所述待审核图片中是否包含文本信息；若是，则提取所述待审核图片的文本信息，计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度；基于第一相似度判断待审核图片是否为恶意图片。本发明专利技术从图像、文字两方面出发，对待审核图片或视频进行检测，以提高检测的准确性，并依据是否包含文本对图片进行分类，以提高检测效率。率。率。

【技术实现步骤摘要】
基于相似性的恶意信息检测方法、装置及处理器


[0001]本申请涉及深度学习中的图像和文本识别领域，具体涉及一种基于相似性的恶意信息检测方法、装置、存储介质及处理器。

技术介绍

[0002]现阶段，信息传送的监管体制都在逐步完善，例如，为避免传送信息中包含恶意信息(恶意图片，用来传播营销信息；恶意文本，用来传播个人隐私信息)，审核机构就需要在信息发布之前，或信息传送之间对传送的信息进行智能化审核。
[0003]对于恶意视频直播中的文本的检测方式可以通过对语义进行分析，从而攻击行为监测预警系统，目前主要是通过提取关键词的方式，并将其和非文明用语进行匹配，从而实现对视频中文本的检测。但对于图片来说，通常是通过计算待识别图片和恶意图片之间的匹配度，从而实现恶意图片的检测。虽然该方法可以实现对视频中文字的分析，但由于视频数据量巨大，并且渠道繁多，视频发布者只需对敏感词汇进行修改、规避或是修改恶意图片上的像素，即可躲避智能化的检查，因此该方法具有一定的局限性，识别恶意图片的准确率较低。

技术实现思路

[0004]本申请实施例的目的是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似性的恶意信息检测方法，其特征在于，包括以下步骤：获取待审核视频；从所述待审核视频中截取待审核图片；判断待审核图片是否为非恶意图片：提取所述待审核图片的图像信息；计算所述图像信息与预设恶意图片库中的恶意图像信息之间的第一相似度；若所述第一相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，判断所述待审核图片中是否包含文本信息；若不包含文本信息，则将所述待审核图片归类为非恶意图片；若包含文本信息，则提取所述待审核图片的文本信息，计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度；若所述第二相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，将所述待审核图片归类为非恶意图片；判断截取的所有待审核图片是否均为非恶意图片，若是，将所述待审核视频归类为非恶意视频，否则，将所述待审核视频归类为恶意视频。2.根据权利要求1所述的基于相似性的恶意信息检测方法，其特征在于，所述判断所述待审核图片中是否包含文本信息，包括：利用训练好的轻量化神经网络模型识别待审核视频中的文本信息。3.根据权利要求1所述的基于相似性的恶意信息检测方法，其特征在于，所述文本信息包括：文本位置和文本内容。4.根据权利要求3所述的基于相似性的恶意信息检测方法，其特征在于，所述提取所述待审核图片的文本信息，包括：针对所述文本位置，利用训练好的注意力网络模型提取文本位置；针对所述文本内容，利用训练好的长短时记忆网络模型的解码器提取文本内容。5.根据权利要求1所述的基于相似性的恶意信息检测方法，其特征在于，所述预设恶意图片库中，依据恶意图片的类型将恶意图片划分为多个类簇；所述方法还包括：对归类为恶意图片的待审核图片进行分类，具体包括以下步骤：将待分类恶意图片分别与各类簇中的恶意图片进行匹配，以计算待分类恶意图片与各类簇的匹配度；将待分类恶意图片分类至与其具有最高匹配度Pm的类簇中；若存在待分类恶意图片与其他类簇的匹配度Px与最高匹配度Pm的差值小于阈值Y，即：|P
x
‑
P
m
|<Y，则由人工判断待分类恶意图片...

【专利技术属性】
技术研发人员：韩鹏军，曹慧，邬谞博，徐会军，郑磊，王晓燕，郝大雨，王宇飞，郭俊才，郭家豪，仇同韵，张靖添，
申请(专利权)人：国能信息技术有限公司，
类型：发明
国别省市：