网络内容审核方法、装置、电子设备、及存储介质制造方法及图纸

本公开实施例公开了一种网络内容审核方法、装置、电子设备、及存储介质，方法包括：获取待审核的网页图像；将所述网页图像输入至预先训练的内容审核模型，获取所述内容审核模型输出的第一结果信息和第二结果信息，其中，所述第一结果信息用于表示所述网页图像显示的内容涉嫌违规的类型，所述第二结果信息用于表示所述网页图像显示的内容属于所述第一结果信息所显示的类型的概率，能够识别出网页中涉嫌违规的内容，能够提高识别效率。

【技术实现步骤摘要】
网络内容审核方法、装置、电子设备、及存储介质
本公开实施例涉及机器学习
，具体涉及一种网络内容审核方法、装置、电子设备、及存储介质。
技术介绍
网络高度发达的今天，网络信息良莠不齐。网络赌博和网络彩票信息也夹杂在各种信息中，稍有不慎就可能被钓鱼网站导引到赌博彩票的网页。当前一种进行网页及手机应用程序界面赌博、彩票信息检测的技术是基于光学字符识别技术的关键字匹配，简单的说就是首先对输入图片进行文字识别，然后将识别出的文字进行关键字匹配。由于是对整个输入图片进行文字识别，只要识别的文字正确，文字匹配的准确率就可以很高，但是文字识别速度较慢，效率较低。
技术实现思路
有鉴于此，本公开实施例提供一种网络内容审核方法、装置、电子设备、及存储介质，以提高识别效率。本公开实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开实施例的实践而习得。在本公开的第一方面，本公开实施例提供了一种网络内容审核方法，包括：获取待审核的网页图像；将所述网页图像输入至预先训练的内容审核模型，获取所述内容审核模型输出的第一结果信息和第二结果信息，其中，所述第一结果信息用于表示所述网页图像显示的内容涉嫌违规的类型，所述第二结果信息用于表示所述网页图像显示的内容属于所述第一结果信息所显示的类型的概率。于一实施例中，所述内容审核模型通过如下方法训练得到：获取训练样本集合，其中，训练样本包括网页图像和用于表示网页图像显示的内容涉嫌违规的类型的第一标注信息、以及用于表示网页图像显示的内容属于所述第一标注信息对应类型的概率的第二标注信息；确定初始化的内容审核模型，其中所述初始化的内容审核模型包括用于输出网页图像显示的内容涉嫌违规的类型的第一目标层和用于表示所述网页图像显示的内容涉嫌违规的概率的第二目标层；利用机器学习的方法，将所述训练样本集合中的训练样本中的网页图像作为初始化的内容审核模型的输入，将与输入的网页图像对应的第一标注信息和第二标注信息作为初始化的内容审核模型的期望输出，训练得到所述内容审核模型。于一实施例中，所述初始化的内容审核模型包括卷积神经网络模型。于一实施例中，在获取训练样本集合之后还包括：对所述训练样本集合中包含的训练样本，按照训练样本中的网页图像所属的违规的类别进行统计；根据统计结果确定训练样本数量少的至少一个类别，对所述至少一个类别的训练样本进行过采样处理，以使所述训练样本集合中各类别的训练样本数量均衡。于一实施例中，在获取训练样本集合之后还包括：对所述训练样本集合中包含的训练样本，按照训练样本中的图像尺寸进行统计；根据统计结果确定训练样本数量少的至少一个尺寸，对所述至少一个尺寸的训练样本进行过采样处理，以使所述训练样本集合中各尺寸的训练样本数量均衡。于一实施例中，在获取训练样本集合之后还包括：对所述训练样本集合中包含的训练样本，确定难样本的数量和易样本的数量；对数量较少的难样本或易样本进行过采样处理，以使所述训练样本集合中难样本的数量与易样本的数量均衡。于一实施例中，获取训练样本集合包括：从网站爬取多个网页图片，对所述多个网页图片进行去重操作，将去重操作后保留的图片进行标注后作为训练样本以形成所述训练样本集合。于一实施例中，对所述多个网页图片进行去重操作包括：采用差异值哈希算法对所述多个网页图片进行去重操作。在本公开的第二方面，本公开实施例还提供了一种网络内容审核装置，包括：图像获取单元，用于获取待审核的网页图像；图像审核单元，用于将所述网页图像输入至预先训练的内容审核模型，获取所述内容审核模型输出的第一结果信息和第二结果信息，其中，所述第一结果信息用于表示所述网页图像显示的内容涉嫌违规的类型，所述第二结果信息用于表示所述网页图像显示的内容属于所述第一结果信息所显示的类型的概率。于一实施例中，所述图像审核单元中所述内容审核模型通过如下模块训练得到：样本获取模块，用于获取训练样本集合，其中，训练样本包括网页图像和用于表示网页图像显示的内容涉嫌违规的类型的第一标注信息、以及用于表示网页图像显示的内容属于所述第一标注信息对应类型的概率的第二标注信息；模型确定模块，用于确定初始化的内容审核模型，其中所述初始化的内容审核模型包括用于输出网页图像显示的内容涉嫌违规的类型的第一目标层和用于表示所述网页图像显示的内容涉嫌违规的概率的第二目标层；模型训练模块，用于利用机器学习的方法，将所述训练样本集合中的训练样本中的网页图像作为初始化的内容审核模型的输入，将与输入的网页图像对应的第一标注信息和第二标注信息作为初始化的内容审核模型的期望输出，训练得到所述内容审核模型。于一实施例中，所述初始化的内容审核模型包括卷积神经网络模型。于一实施例中，所述样本获取模块还用于在获取训练样本集合之后：对所述训练样本集合中包含的训练样本，按照训练样本中的网页图像所属的违规的类别进行统计；根据统计结果确定训练样本数量少的至少一个类别，对所述至少一个类别的训练样本进行过采样处理，以使所述训练样本集合中各类别的训练样本数量均衡。于一实施例中，所述样本获取模块还用于在获取训练样本集合之后：对所述训练样本集合中包含的训练样本，按照训练样本中的图像尺寸进行统计；根据统计结果确定训练样本数量少的至少一个尺寸，对所述至少一个尺寸的训练样本进行过采样处理，以使所述训练样本集合中各尺寸的训练样本数量均衡。于一实施例中，所述样本获取模块还用于在获取训练样本集合之后：对所述训练样本集合中包含的训练样本，确定难样本的数量和易样本的数量；对数量较少的难样本或易样本进行过采样处理，以使所述训练样本集合中难样本的数量与易样本的数量均衡。于一实施例中，所述样本获取模块用于：从网站爬取多个网页图片，对所述多个网页图片进行去重操作，将去重操作后保留的图片进行标注后作为训练样本以形成所述训练样本集合。于一实施例中，所述样本获取模块用于对所述多个网页图片进行去重操作包括：用于采用差异值哈希算法对所述多个网页图片进行去重操作。在本公开的第三方面，提供了一种电子设备。该电子设备包括：处理器；以及存储器，用于存储可执行指令，所述可执行指令在被所述处理器执行时使得所述电子设备执行第一方面中的方法。在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面中的方法。本公开实施例提出的技术方案的有益技术效果是：本公开实施例通过将待审核的网页图像输入至预先训练的内容审核模型，获取所述内容审核模型输出的第一结果信息和第二结果信息，其中，所述第一结果信息用于表示所述网页图像显示的内容涉嫌违规的类型，所述第二结果信息用于表示所述网页图像显示的内容属于所述第一结果信息所显示的类型的概率，能够识别出网页中涉嫌违规的内容，能够提高识别效率。<本文档来自技高网...

【技术保护点】
1.一种网络内容审核方法，其特征在于，包括：/n获取待审核的网页图像；/n将所述网页图像输入至预先训练的内容审核模型，获取所述内容审核模型输出的第一结果信息和第二结果信息，其中，所述第一结果信息用于表示所述网页图像显示的内容涉嫌违规的类型，所述第二结果信息用于表示所述网页图像显示的内容属于所述第一结果信息所显示的类型的概率。/n

【技术特征摘要】
1.一种网络内容审核方法，其特征在于，包括：
获取待审核的网页图像；
将所述网页图像输入至预先训练的内容审核模型，获取所述内容审核模型输出的第一结果信息和第二结果信息，其中，所述第一结果信息用于表示所述网页图像显示的内容涉嫌违规的类型，所述第二结果信息用于表示所述网页图像显示的内容属于所述第一结果信息所显示的类型的概率。


2.根据权利要求1所述的方法，其特征在于，所述内容审核模型通过如下方法训练得到：
获取训练样本集合，其中，训练样本包括网页图像和用于表示网页图像显示的内容涉嫌违规的类型的第一标注信息、以及用于表示网页图像显示的内容属于所述第一标注信息对应类型的概率的第二标注信息；
确定初始化的内容审核模型，其中所述初始化的内容审核模型包括用于输出网页图像显示的内容涉嫌违规的类型的第一目标层和用于表示所述网页图像显示的内容涉嫌违规的概率的第二目标层；
利用机器学习的方法，将所述训练样本集合中的训练样本中的网页图像作为初始化的内容审核模型的输入，将与输入的网页图像对应的第一标注信息和第二标注信息作为初始化的内容审核模型的期望输出，训练得到所述内容审核模型。


3.根据权利要求2所述的方法，其特征在于，所述初始化的内容审核模型包括卷积神经网络模型。


4.根据权利要求2所述的方法，其特征在于，在获取训练样本集合之后还包括：
对所述训练样本集合中包含的训练样本，按照训练样本中的网页图像所属的违规的类别进行统计；
根据统计结果确定训练样本数量少的至少一个类别，对所述至少一个类别的训练样本进行过采样处理，以使所述训练样本集合中各类别的训练样本数量均衡。


5.根据权利要求2所述的方法，其特征在于，在获取训练样本集合之后还包括：
对所述训练样本集合中包含的训练样本，按照训练样本中的图像尺寸进行统计；
根据统计结果确定训练样本数量少的至少一个尺寸，对所述至少一个尺寸的训练样本进行过采样处理，以使所述训练样本集合中各尺寸的训练样本数量均衡。


6.根据权利要求2所述的方法，其特征在于，在获取训练样本集合之后还包括：
对所述训练样本集合中包含的训练样本，确定难样本的数量和易样本的数量；
对数量较少的难样本...

【专利技术属性】
技术研发人员：张宁，蔡琳，李玉惠，刘瑞，傅强，阿曼太，梁彧，马寒军，田野，王杰，杨满智，金红，陈晓光，
申请(专利权)人：恒安嘉新北京科技股份公司，
类型：发明
国别省市：北京;11