一种页面敏感性检测方法、装置、电子设备和存储介质制造方法及图纸

本申请提供了一种页面敏感性检测方法、装置和电子设备，应用于敏感页面检测，其中，该方法包括：根据页面数据中的文本信息，得到预设关键词个数的关键词集合；根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合；将所述关键词集合与所述敏感词集合进行对比，得到用于计算页面敏感性置信度的对比结果；根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度；根据所述敏感性置信度判断页面的敏感程度。本申请实施例通过页面内容的识别，其只需要定义待检测页面的敏感词字典即可有效的对页面进行敏感性检测，节约了人力和物力，降低了成本。

【技术实现步骤摘要】
一种页面敏感性检测方法、装置、电子设备和存储介质
本申请涉及页面检测
，具体而言，涉及一种页面敏感性检测方法、装置、电子设备和存储介质。
技术介绍
目前，对于网页检测，传统的检测方法往往用于成人、暴力、广告等内容的检测，且网页检测方法主要集中在对页面的URL、超链接、关键词等元素进行检测，这些方法主要通过页面暴露给搜索引擎的这些元素，对网页的敏感性进行划分，从而确定网页的敏感性。此外，近些年有采用基于网页结构特征的机器学习算法出现，该类算法是对页面的部分内容、编码结构、URL等多方面进行特征表示，然后通过机器学习模型进行判别，也取得了不错的检测效果。但是上述方法过多的关注于页面与其它同类页面的联系，对于页面本身内容的贡献不够重视，而且都依赖于经验数据或者训练数据；所以，对于特定敏感内容的检测或非广义的敏感页面，需要消耗大量的时间和人力进行模型创建和调试，其成本较高。
技术实现思路
有鉴于此，本申请实施例提供了一种页面敏感性检测方法、装置、电子设备和存储介质，以解决上述现有技术中对于页面检测，需要消耗大量的时间和人力进行模型创建和调试，造成了成本较高的问题。第一方面，本申请实施例提供了一种页面敏感性检测方法，应用于敏感页面检测，包括：根据页面数据中的文本信息，得到预设关键词个数的关键词集合；根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合；将所述关键词集合与所述敏感词集合进行对比，得到用于计算页面敏感性置信度的对比结果；根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度；根据所述敏感性置信度判断页面的敏感程度。结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，根据页面数据中的文本信息，得到预设关键词个数的关键词集合，包括：基于页面排序处理算法，对页面数据处理后得到的文本信息进行关键词提取；并根据提取出的所述的关键词之间的关联度，将所述关键词降序排列，并筛选出预设个数的关键词集合。结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合，包括：基于多模匹配算法和敏感词字典，得到所述文本信息中的敏感词；根据所述敏感词出现的次数，将所述敏感词降序排列，并筛选出预设敏感词个数的敏感词集合。结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度，包括：确定所述关键词集合和所述敏感词集合的最大公共子集，所述最大公共子集的大小为w；将所述敏感词出现的总次数与文章的总词数相除，得到所述敏感词的文档词频TF；所述页面数据的敏感性置信度为：conf＝TF*w。结合第一方面的第四种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，确定所述页面数据的敏感性置信度conf之后，还包括：对所述敏感性置信度conf采取线性函数进行归一化处理，其中，所述线性函数为：结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第五种可能的实施方式，其中：若所述最大公共子集长度为0，则令w＝1。结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第六种可能的实施方式，还包括：若所述最大公共子集长度为0，当对关键词和敏感词无公共子集进行惩罚时，令w∈(0,1)。第二方面，本申请实施例还提供了一种页面敏感性检测装置，包括：页面处理模块，用于根据页面数据中的文本信息，得到预设关键词个数的关键词集合；多模匹配模块，用于根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合；对比模块，用于将所述关键词集合与所述敏感词集合进行对比，得到用于计算页面敏感性置信度的对比结果；计算模块，用于根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度；判断模块，用于根据所述敏感性置信度判断页面的敏感程度。结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述页面处理模块用于根据页面数据中的文本信息，得到预设关键词个数的关键词集合时，包括：基于页面排序处理算法，对页面数据处理后得到的文本信息进行关键词提取；并根据提取出的所述的关键词之间的关联度，将所述关键词降序排列，并筛选出预设个数的关键词集合。结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述多模匹配模块用于根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合时，包括：基于多模匹配算法和敏感词字典，得到所述文本信息中的敏感词；根据所述敏感词出现的次数，将所述敏感词降序排列，并筛选出预设敏感词个数的敏感词集合。结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第三种可能的实施方式，其中，所述计算模块用于根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度时，包括：确定所述关键词集合和所述敏感词集合的最大公共子集，所述最大公共子集的大小为w；将所述敏感词出现的总次数与文章的总词数相除，得到所述敏感词的文档词频TF；所述页面数据的敏感性置信度为：conf＝TF*w。结合第二方面的第四种可能的实施方式，本申请实施例提供了第二方面的第四种可能的实施方式，其中，所述计算模块还用于：确定所述页面数据的敏感性置信度conf之后，对所述敏感性置信度conf采取线性函数进行归一化处理，其中，所述线性函数为：结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第五种可能的实施方式，其中：若所述最大公共子集长度为0，则令w＝1。结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第六种可能的实施方式，还包括：若所述最大公共子集长度为0，当对关键词和敏感词无公共子集进行惩罚时，令w∈(0,1)。第三方面，本申请实施例还提供了一种页面敏感性检测电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的页面敏感性检测方法。第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。本申请实施例提供的页面敏感性检测方法、装置、电子设备和存储介质，采用基于页面内容的识别方法，该方法不需要训练数据和经验数据，只需要定义待检测页面的敏感词字典即可有效的对文本类页面进行检测，与现有技术中的采用基于网页结构特征的机器学习算法相比，其只需要定义待检测页面的敏感词字典即可本文档来自技高网...

【技术保护点】
1.一种页面敏感性检测方法，应用于敏感页面检测，其特征在于，包括：/n根据页面数据中的文本信息，得到预设关键词个数的关键词集合；/n根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合；/n将所述关键词集合与所述敏感词集合进行对比，得到用于计算页面敏感性置信度的对比结果；/n根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度；/n根据所述敏感性置信度判断页面的敏感程度。/n

【技术特征摘要】
1.一种页面敏感性检测方法，应用于敏感页面检测，其特征在于，包括：
根据页面数据中的文本信息，得到预设关键词个数的关键词集合；
根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合；
将所述关键词集合与所述敏感词集合进行对比，得到用于计算页面敏感性置信度的对比结果；
根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度；
根据所述敏感性置信度判断页面的敏感程度。


2.根据权利要求1所述的页面敏感性检测方法，其特征在于，根据页面数据中的文本信息，得到预设关键词个数的关键词集合，包括：
基于页面排序处理算法，对页面数据处理后得到的文本信息进行关键词提取；并根据提取出的所述的关键词之间的关联度，将所述关键词降序排列，并筛选出预设个数的关键词集合。


3.根据权利要求1所述的页面敏感性检测方法，其特征在于，根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合，包括：
基于多模匹配算法和敏感词字典，得到所述文本信息中的敏感词；
根据所述敏感词出现的次数，将所述敏感词降序排列，并筛选出预设敏感词个数的敏感词集合。


4.根据权利要求1所述的页面敏感性检测方法，其特征在于，根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度，包括：
确定所述关键词集合和所述敏感词集合的最大公共子集，所述最大公共子集的大小为w；
将所述敏感词出现的总次数与文章的总词数相除，得到所述敏感词的文档词频TF；
所述页面数据的敏感性置信度为：conf＝TF*w。

【专利技术属性】
技术研发人员：崔峭，孟嘉，喻守益，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11