一种基于大数据的敏感词识别方法技术

本发明专利技术公开了一种基于大数据的敏感词识别方法，该方法包括：步骤1，利用爬虫软件收集文本数据，对文本数据进行敏感标记，得到敏感文本D1、正常文本D2，将敏感词进行敏感词分类和等级标记，存入敏感词表S。步骤2，通过N

【技术实现步骤摘要】
一种基于大数据的敏感词识别方法


[0001]本专利技术涉及大数据研究领域，尤其是自然语言处理的方法，具体涉及一种基于大数据的敏感词识别方法。

技术介绍

[0002]随着互联网的不断发展，通过互联网各种平台，人们可以看得到大量的文本信息。其中有些信息包含敏感信息，如恐怖色情倾向等，如果不加以辨别和控制，会妨碍社会安定，损害社会公共利益。控制文本信息的质量，及时识别和处理这些敏感信息，确保发布内容不含敏感信息，营造健康网络环境，是一项重要的任务。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：传统的技术主要采用规则匹配的方法进行识别，即构建一个敏感词词表，敏感词表主要来自人工运营收集，不仅人力成本高而且效率低，通过遍历敏感词词表，与各个文本信息进行匹配，若发现有敏感词，则需要提交给审核人员进行人工审核。该方法存在缺点：一是随着敏感词数量的增加，敏感词的变形体也会越来越多，敏感词词表也会越来越大，循环匹配会导致搜索速度变慢；二是该方法仍然需要审核人员进行人工判断，人工工作量大；三是该方法只能检测敏感词出现与否，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的敏感词识别方法，其特征在于，该方法主要包括以下步骤：步骤1，利用爬虫软件收集文本数据，对文本数据进行敏感标记，得到敏感文本D1、正常文本D2，将敏感词进行敏感词分类和等级标记，存入敏感词表S；步骤2，通过N
‑
gram模型进行新词发现，对敏感词表S进行扩增：将步骤1中的敏感文本D1，采用N
‑
gram模型进行分词，按照长度为n切分原词，得到多个长度为n的拼接词；统计每个拼接词的词频，计算频率P，选择频率大于设定阈值a的拼接词作为候选词其中，count
w
表示包含拼接词w的敏感文本数，N表示敏感文本总数；计算每个候选词的凝固度I(x；y)，其中，P(x，y)表示候选词中字x和字y共同出现的概率，P(x)表示字x单独出现的概率，P(y)表示字y单独出现的概率；计算每个候选词w
′
的自由度H(w
′
)，其计算公式为：其中，s
l
为候选词w
′
的左邻接字的集合；s
r
为候选词w
′
的右邻接字的集合；p(w
′
l
|w
′
)为候选词w
′
出现的情况下左邻接字w
′
l
出现的条件概率；p(w
′
r
|w
′
)为候选词w
′
出现的情况下有邻接字w
′
r
出现的条件概率；将同时满足：I(x；y)大于凝固度阈值b、H(w)大于自由度阈值c的候选词作为新词，将该新词的敏感等级都设置为低危，敏感分类为该新词所在敏感文本的分类，将该新词及其敏感等级和敏感分类存入敏感词表S；步骤3，对每个敏感词表S中的每个敏感词m，进行变形处理，得到变形体敏感词m
′
，所述变形体包括：在敏感词中间添加特殊字符、对敏感词的一个字或多个字用拼音代替、对敏感词中的一个字或多个字进行拆分、用繁体字代替敏...

【专利技术属性】
技术研发人员：周洁琴，周金明，
申请(专利权)人：南京视察者智能科技有限公司，
类型：发明
国别省市：