垃圾文本识别方法、装置及系统制造方法及图纸

本发明专利技术提供了一种垃圾文本识别方法、装置及系统。该方法包括：客户端获取待识别文本，并从待识别文本中提取一个或多个字符串；基于一个或多个字符串，计算待识别文本为垃圾文本的联合概率；确定待识别文本为垃圾文本的联合概率是否大于或等于预设阈值，若是，则识别出待识别文本为垃圾文本。本发明专利技术实施例在原有贝叶斯算法的基础上引入联合概率，基于待识别文本中的一个或多个字符串，计算待识别文本为垃圾文本的联合概率，通过比较联合概率与预设阈值来识别待识别文本是否为垃圾文本，提高了识别垃圾短信的准确度，减少了文本形式的垃圾短信被误拦的情况。

【技术实现步骤摘要】

本专利技术涉及计算机
，特别是涉及一种垃圾文本识别方法、装置及系统。
技术介绍
随着计算机技术的不断发展，移动终端(如，手机等具有通信功能的设备)已经成为人们日常生活、工作中不可缺少的通讯工具，由于其携带方便，所以人们可以随时随地的保持联系，不仅拉近了人与人之间的距离，而且会带给人们一定的安全感。每当节日到来，一条来自亲朋好友的祝福短信，一个来自家人的问候电话，足以让人感动。由于移动终端几乎已经成为每个人必备的通讯工具，所以也成为了一些商家的推销媒介，甚至成为一些不法分子进行诈骗的渠道。目前市场上已经存在一些用于拦截骚扰短信的客户端，通过在本地设定一些具体的分类规则对骚扰短信进行拦截，或者直接利用贝叶斯算法对短信进行识别并拦截出垃圾短信。但是采用这些方式拦截骚扰短信，会占用大量的本地存储空间，并且直接利用贝叶斯算法拦截垃圾短信，虽然垃圾短信的召回率很高，但是准确率较低，容易产生误拦的情况。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的垃圾文本识别方法以及相应的装置。依据本专利技术的一个方面，提供了一种垃圾文本识别方法，包括：获取待识别文本，从所述待识别文本中提取一个或多个字符串；基于所述一个或多个字符串，计算所述待识别文本为垃圾文本的联合概率；确定所述待识别文本为垃圾文本的联合概率是否大于或等于预设阈值；若是，则识别所述待识别文本为垃圾文本。可选地，所述方法还包括：若确定所述待识别文本为垃圾文本的联合概率小于预设阈值，则识别所述待识别文本为正常文本。可选地，基于所述一个或多个字符串，计算所述待识别文本为垃圾文本的联合概率，包括：对于所述一个或多个字符串中的各个字符串，计算在该字符串存在的条件下，所述待识别文本为垃圾文本的后验概率；根据所述各个字符串对于所述待识别文本为垃圾文本的后验概率，计算所述待识别文本为垃圾文本的联合概率。可选地，根据所述各个字符串对于所述待识别文本为垃圾文本的后验概率，计算所述待识别文本为垃圾文本的联合概率，包括：对所述各个字符串对于所述待识别文本为垃圾文本的后验概率进行从大到小排序，选取排序在前的N个字符串；根据所述N个字符串中各个字符串对于所述待识别文本为垃圾文本的后验概率，计算所述待识别文本为垃圾文本的联合概率。可选地，所述方法还包括：获取两组已经被识别的文本集，其中，一组为正常文本集，另一组为垃圾文本集；分别提取两组文本集中的至少一个字符串；计算所述至少一个字符串分别在所述正常文本集和所述垃圾文本集中出现的概率，并生成概率资料库。可选地，计算所述至少一个字符串分别在所述正常文本集和所述垃圾文本集中出现的概率，包括：若所述至少一个字符串仅出现在所述垃圾文本集中，则该字符串出现在所述正常文本集中的概率规定为第一数值；若所述至少一个字符串仅出现在所述正常文本集中，则该字符串出现在所述垃圾文本集中的概率规定为第二数值。可选地，根据所述各个字符串对于所述待识别文本为垃圾文本的后验概率，计算所述待识别文本为垃圾文本的联合概率，包括：获取所述各个字符串在所述垃圾文本集中的权重；根据所述各个字符串在所述垃圾文本集中的权重和该字符串对于所述待识别文本为垃圾文本的后验概率，计算所述待识别文本为垃圾文本的联合概率。可选地，对于所述一个或多个字符串中的各个字符串，计算在该字符串存在的条件下，所述待识别文本为垃圾文本的后验概率，包括：确定所述待识别文本分别为垃圾文本和正常文本的先验概率；对于所述一个或多个字符串中的各个字符串，从所述概率资料库中获取该字符串分别在所述垃圾文本集和所述正常文本集中出现的概率；根据确定的所述待识别文本分别为垃圾文本和正常文本的先验概率、以及获取的该字符串分别在所述垃圾文本集和所述正常文本集中出现的概率，计算在该字符串存在的条件下，所述待识别文本为垃圾文本的后验概率。可选地，所述方法还包括：若从所述概率资料库中未获取到该字符串分别在所述垃圾文本集和所述正常文本集中出现的概率，则设定该字符串分别在所述垃圾文本集和所述正常文本集中出现的概率分别为第一指定值和第二指定值。可选地，所述待识别文本为垃圾文本的先验概率和所述待识别文本为正常文本的先验概率，均为一具体设定数值。可选地，在识别所述待识别文本为垃圾文本之后，所述方法还包括：对所述待识别文本进行拦截。可选地，当所述待识别文本为短信时，在识别所述待识别文本为正常文本之后，所述方法还包括：获取所述短信的发送方的电话号码，确定所述短信的发送方的电话号码的归属地和/或地区编码；比较所述短信的发送方的电话号码的归属地和/或地区编码与所述短信接收方的电话号码的归属地和/或地区编码，得到比较结果；根据所述比较结果，确定是否对所述短信执行拦截操作。可选地，根据所述比较结果，确定是否对所述短信执行拦截操作，包括：若所述比较结果为所述短信的发送方的电话号码的归属地与所述短信接收方的电话号码的归属地不一致，则对所述短信执行拦截操作；或者若所述比较结果为所述短信的发送方的电话号码的地区编码与所述短信接收方的电话号码的地区编码不一致，则对所述短信执行拦截操作。依据本专利技术的另一个方面，还提供了一种垃圾文本识别装置，包括：提取模块，适于获取待识别文本，从所述待识别文本中提取一个或多个字符串；计算模块，适于基于所述一个或多个字符串，计算所述待识别文本为垃圾文本的联合概率；确定模块，适于确定所述待识别文本为垃圾文本的联合概率是否大于或等于预设阈值；识别模块，适于若所述确定模块确定所述待识别文本为垃圾文本的联合概率大于或等于预设阈值，则识别所述待识别文本为垃圾文本。可选地，所述识别模块还适于：若所述确定模块确定所述待识别文本为垃圾文本的联合概率小于预设阈值，则识别所述待识别文本为正常文本。可选地，所述计算模块还适于：对于所述一个或多个字符串中的各个字符串，计算在该字符串存在的条件下，所述待识别文本为垃圾文本的后验概率；根据所述各个字符串对于所述待识别文本为垃圾文本的后验概率，计算所述待识别文本为垃圾文本的联合概率。可选地，所述计算模块还适于：对所述各个字符串对于所述待识别文本为垃圾文本的后验概率进行从大到小排序，选取排序在前的N个字符串；根据所述N个字符串中各个字符本文档来自技高网...

【技术保护点】
一种垃圾文本识别方法，包括：获取待识别文本，从所述待识别文本中提取一个或多个字符串；基于所述一个或多个字符串，计算所述待识别文本为垃圾文本的联合概率；确定所述待识别文本为垃圾文本的联合概率是否大于或等于预设阈值；若是，则识别所述待识别文本为垃圾文本。

【技术特征摘要】
1.一种垃圾文本识别方法，包括：
获取待识别文本，从所述待识别文本中提取一个或多个字符串；
基于所述一个或多个字符串，计算所述待识别文本为垃圾文本的联合概率；
确定所述待识别文本为垃圾文本的联合概率是否大于或等于预设阈值；
若是，则识别所述待识别文本为垃圾文本。
2.根据权利要求1所述的方法，其中，还包括：
若确定所述待识别文本为垃圾文本的联合概率小于预设阈值，则识别所述
待识别文本为正常文本。
3.根据权利要求1或2所述的方法，其中，基于所述一个或多个字符串，
计算所述待识别文本为垃圾文本的联合概率，包括：
对于所述一个或多个字符串中的各个字符串，计算在该字符串存在的条件
下，所述待识别文本为垃圾文本的后验概率；
根据所述各个字符串对于所述待识别文本为垃圾文本的后验概率，计算所
述待识别文本为垃圾文本的联合概率。
4.根据权利要求3所述的方法，其中，根据所述各个字符串对于所述待
识别文本为垃圾文本的后验概率，计算所述待识别文本为垃圾文本的联合概率，
包括：
对所述各个字符串对于所述待识别文本为垃圾文本的后验概率进行从大
到小排序，选取排序在前的N个字符串；
根据所述N个字符串中各个字符串对于所述待识别文本为垃圾文本的后
验概率，计算所述待识别文本为垃圾文本的联合概率。
5.根据权利要求1-4任一项所述的方法，其中，还包括：
获取两组已经被识别的文本集，其中，一组为正常文本集，另一组为垃圾
文本集；
分别提取两组文本集中的至少一个字符串；
计算所述至少一个字符串分别在所述正常文本集和所述垃圾文本集中出
现的概率，并生成概率资料库。
6.根据权利要求5所述的方法，其中，计算所述至少一个字符串分别在
所述正常文本集和所述垃圾文本集中出现的概率，包括：
若所述至少一个字符串仅出现在所述垃圾文本集中，则该字符串出现在所

\t述正常文本集中的概率规定为第一数值；
...

【专利技术属性】
技术研发人员：常富洋，张金晶，李强，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11