基于关键词的不良文本检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于关键词的不良文本检测方法及装置，涉及网页内容检测领域，能够提高基于关键词进行不良文本检测的准确率。所述方法包括如下步骤：S0、获取多个种子词，所述种子词为用于表征不良信息的词语；S1、根据语义聚类法对所述种子词进行扩展，得到与所述种子词语义关联的语义关联词，以所述种子词和所述语义关联词作为用于检测不良文本的关键词；S2、在网页文本在宽带环境中传输的情况下，统计每个网页文本中所述关键词的出现次数，并根据所述出现次数确定属于不良文本的网页文本。

【技术实现步骤摘要】
基于关键词的不良文本检测方法及装置
本专利技术涉及网页内容检测领域，更具体地说，涉及一种基于关键词的不良文本检测方法及装置。
技术介绍
随着互联网的普及和网络带宽的提高，互联网中可访问的网站数量及网页内容也呈现出爆炸性增加的趋势。由于互联网的开放性，网页内容中掺杂了不少涉黄、涉赌及涉毒等违规的不良信息。为了封锁包含不良信息的违规网页，净化网络环境，需对网页内容进行实时监控。以往，为了对网页内容进行实时监控，提出了根据关键词出现的次数来衡量一个网页是否违规。具体地，当某一网页中的关键词出现的次数超过阈值时，判断该网页违规。然而，互联网中网站数量庞大，网页内容繁多，其中涉黄、涉赌及涉毒的违规词的基数庞大，违规词的伪装词也五花八门。例如，对于涉黄的违规词“性爱”，违规网站常常不直接使用该违规词，而是使用近音词、近形词来替代，例如“悻愛”、“性噯⌒”、“狌暧”等，而且还可能在违规词中间加上分隔符来干扰违规词的识别，例如“性☆爱”。因此，按照以往的检测方法，即使耗费大量的人工去标记各种违规词作为关键词，也会不可避免地遗漏很多违规词。另一方面，基于违规词进行检测时难以识别伪装词。因此，现有技术由本文档来自技高网...

【技术保护点】
一种基于关键词的不良文本检测方法，其特征在于，包括如下步骤：S0、获取多个种子词，所述种子词为用于表征不良信息的词语；S1、根据语义聚类法对所述种子词进行扩展，得到与所述种子词语义关联的语义关联词，以所述种子词和所述语义关联词作为用于检测不良文本的关键词；S2、在网页文本在宽带环境中传输的情况下，统计每个网页文本中所述关键词的出现次数，并根据所述出现次数确定属于不良文本的网页文本。

【技术特征摘要】
1.一种基于关键词的不良文本检测方法，其特征在于，包括如下步骤：S0、获取多个种子词，所述种子词为用于表征不良信息的词语；S1、根据语义聚类法对所述种子词进行扩展，得到与所述种子词语义关联的语义关联词，以所述种子词和所述语义关联词作为用于检测不良文本的关键词；S2、在网页文本在宽带环境中传输的情况下，统计每个网页文本中所述关键词的出现次数，并根据所述出现次数确定属于不良文本的网页文本。2.根据权利要求1所述的方法，其特征在于，所述种子词为N个，N为整数且N≥2，所述步骤S1具体包括：S11、获取含有不良信息的训练文档，将所述训练文档中的每个词转换为词向量形式的待训练词向量，并将所述种子词转换为词向量形式的种子词向量，所述待训练词向量与所述种子词向量位于同一词向量空间中；S12、计算每个所述待训练词向量与每个所述种子词向量之间的余弦距离；S13、在所述词向量空间中，以N个所述种子词向量作为初始质心，利用K-means聚类算法对所述待训练词向量进行聚类，得到K个词向量簇，每个所述词向量簇分别具有一个聚类质心，其中K为正整数且K≤N；S14、对于所述聚类质心距所述种子词向量的余弦距离最小的所述词向量簇，确定其中的所述待训练词向量对应的词，并将所确定的词作为与该种子词向量对应的所述种子词的所述语义关联词。3.根据权利要求2所述的方法，其特征在于，所述步骤S11中的所述获取含有不良信息的训练文档具体包括：获取所述步骤S2中被确定为不良文本的所述网页文本。4.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：S21、统计每个网页文本中所述关键词的出现次数，并判断所述出现次数是否超出阈值；S22、当所述出现次数超出所述阈值时，初步判断所述网页文本为不良文本；S23、显示被初步判断为不良文本的所述网页文本；S24、接收检测人员输入的、表示被初步判断为不良文本的所述网页文本属于不良文本的指示，并根据所述指示，确定被初步判断为不良文本的所述网页文本属于不良文本。5.根据权利要求1所述的方法，其特征在于，所述步骤S0还包括：对获取的多个所述种子词进行分类；所述步骤S1具体包括：对于每种类型的所述种子词，分别根据语义聚类法进行扩展得到与该种类型的所述种子词语义关联的语义关联词，以该种类型的所述种子词及其所述...

【专利技术属性】
技术研发人员：唐新民，沈智杰，景晓军，刘永强，
申请(专利权)人：任子行网络技术股份有限公司，
类型：发明
国别省市：广东,44