文本内容异常检测方法、装置以及存储介质制造方法及图纸

本公开提供了一种文本内容异常检测方法、装置以及存储介质，涉及计算机技术领域，其中的方法包括：使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息；获取与采集的每条文本相对应的特征词，并计算特征词的TF-IDF值；根据词语相似度概率信息获取两个特征向量的特征词之间的特征词相似度概率值，并基于特征词相似度概率值以及TF-IDF值计算两个特征向量之间的距离；使用聚类算法并根据距离对多个特征向量进行聚类处理，基于聚类处理结果确定出现异常的文本。本公开的方法、装置以及存储介质，在异常检测中不仅考虑了空间距离或密度上的差异，还结合了词语之间的语义相关性，能够提升异常检测的准确性。能够提升异常检测的准确性。能够提升异常检测的准确性。

【技术实现步骤摘要】
文本内容异常检测方法、装置以及存储介质


[0001]本公开涉及计算机
，尤其涉及一种文本内容异常检测方法、装置以及存储介质。

技术介绍

[0002]随着移动互联网的发展，上网已经成为人们日常生活的一部分。对于网络服务和监管部门，如何发现上网用户的异常行为，预防网络犯罪，是一个需要解决的问题。异常检测技术是为了发现数据集中显著不同于其它数据的对象,广泛应用在客户分类、网络入侵检测、欺诈检测等领域。常用的异常检测方法一般分为基于统计的方法、基于距离的方法等。但是，现有的异常检测技术在对于文本进行异常检测，检测的准确性较低。

技术实现思路

[0003]有鉴于此，本专利技术要解决的一个技术问题是提供一种文本内容异常检测方法、装置以及存储介质。
[0004]根据本公开的第一方面，提供一种文本内容异常检测方法，包括：使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息；获取与采集的每条文本相对应的特征词，并计算所述特征词的TF-IDF值；基于所述TF-IDF值建立与每条文本相对应的特征向量；根据所述词语相似度概本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本内容异常检测方法，包括：使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息；获取与采集的每条文本相对应的特征词，并计算所述特征词的TF-IDF值；基于所述TF-IDF值建立与每条文本相对应的特征向量；根据所述词语相似度概率信息获取两个特征向量的特征词之间的特征词相似度概率值，并基于所述特征词相似度概率值以及所述TF-IDF值计算所述两个特征向量之间的距离；使用聚类算法并根据所述距离对多个特征向量进行聚类处理，基于聚类处理结果确定出现异常的文本。2.如权利要求1所述的方法，所述聚类算法包括：DBSCAN聚类算法；所述使用聚类算法并根据所述距离对多个特征向量进行聚类处理，基于聚类处理结果确定出现异常的文本包括：使用所述DBSCAN聚类算法并根据所述距离对多个特征向量进行聚类分析，得到至少一个簇和噪声点集合；获取所述噪声点集合中的特征向量，将此特征向量对应的文本确定为出现异常的文本。3.如权利要求2所述的方法，其中，所述距离为：其中，x
i
为第一特征向量中的第i个特征词的TF-IDF值，y
j
为第二特征向量中的第i个特征词的TF-IDF值，p
ij
为第一特征向量中的第i个特征词和第二特征向量中的第j个特征词之间的特征词相似度概率值，n为第一特征向量和第二特征向量的维数。4.如权利要求1所述的方法，所述相似度概率模型包括：word2vec模型；所述使用相似度概率模型获取词语之间的相似度概率值，生成词语相似度概率信息包括：构建word2vec模型，使用文本数据集对所述word2vec模型进行训练；通过word2vec模型生成两个词语之间的相似度概率值，生成所述词语相似度概率信息；其中，所述词语相似度概率信息包括：词语对和所述相似度概率。5.如权利要求4所述的方法，所述根据所述词语相似度概率信息获取两个特征向量的特征词之间的特征词相似度概率值包括：根据属于第一特征向量的特征词与属于第二特征向量的特征词建立关键词对；将所述关键词...

【专利技术属性】
技术研发人员：赵钧，黄磊，于洪涌，王雪琼，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：