本发明专利技术提供一种基于关键词的垃圾文档过滤方法和装置。其中，垃圾文档过滤方法包括：获取待检查的中文文档，将中文文档中的中文字符转换成拼音字符，得到拼音文档，根据中文关键词对应的拼音，对拼音文档进行匹配，若拼音文档中的拼音字符与中文关键词对应的拼音匹配，则将待检查的中文文档确定为垃圾文档。由于一个拼音关键词可对应多个中文关键词，减少关键词的数量，从而提高关键词匹配效率；而且拼音关键词还可以与中文关键词同音的没有列举出来的其他中文关键词进行对应，从而提高了垃圾文档识别率。
【技术实现步骤摘要】
本专利技术涉及计算机技术，尤其涉及一种基于关键词的垃圾文档过滤方法和装置。
技术介绍
当前反垃圾技术中应用最普遍的方法就是关键词过滤，即对待检查文档进行关键词搜索，用以判别待检查文档是否为垃圾文档。一般情况下，每个关键词对应一条过滤规贝U。对待检查文档进行关键词搜索的过程，就是对待检查文档进行过滤规则匹配的过程。现有技术中，需要针对每个关键词设置关键词过滤规则，以保证反垃圾效果。然而，这种方式导致关键词匹配效率较低，进而导致垃圾文档的过滤效率低下，而且这种方式中关键词可能列举不全，导致垃圾文档的过滤效率较低。
技术实现思路
本专利技术提供一种基于关键词的垃圾文档过滤方法和装置，用于解决现有技术中关键词匹配效率较低，进而导致垃圾文档的过滤效率低下的问题。本专利技术的第一个方面是提供一种基于关键词的垃圾文档过滤方法，包括获取待检查的中文文档；将所述中文文档中的中文字符转换成拼音字符，得到拼音文档；根据中文关键词对应的拼音，对所述拼音文档进行匹配；若所述拼音文档中的拼音字符与所述中文关键词对应的拼音匹配，则将所述待检查的中文文档确定为垃圾文档。本专利技术的另一个方面提供一种基于关键词的垃圾文档过滤装置，包括获取模块，用于获取待检查的中文文档；转换模块，用于将所述中文文档中的中文字符转换成拼音字符，得到拼音文档；匹配模块，用于根据中文关键词对应的拼音，对所述拼音文档进行匹配；确定模块，用于若所述拼音文档中的拼音字符与所述中文关键词对应的拼音匹配，则将所述待检查的中文文档确定为垃圾文档。本专利技术通过获取待检查的中文文档，并将中文文档转换成对应的拼音文档，根据中文关键词对应的拼音，对拼音文档进行匹配，由于一个拼音关键词可对应多个中文关键词，减少关键词的数量，从而提闻关键词匹配效率；而且拼首关键词还可以与中文关键词同音的没有列举出来的其他关键词进行对应，从而提高了垃圾文档识别率。附图说明图1为本专利技术基于关键词的垃圾文档过滤方法一个实施例的流程图；图2为本专利技术基于关键词的垃圾文档过滤方法又一个实施例的流程图；图3为本专利技术基于关键词的垃圾文档过滤装置一个实施例的结构示意图。具体实施例方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术基于关键词的垃圾文档过滤方法一个实施例的流程图，如图1所示，包括101、垃圾文档过滤装置获取待检查的中文文档。其中，待检查的中文文档可以为邮件、微博、贴吧或者博客等包含的文档。本专利技术中基于关键词的垃圾文档过滤方法的执行主体为垃圾文档过滤装置，该装置可以为服务器、电脑或者手机等终端，还可以是上述终端中具有处理功能的模块或芯片，例如=CPU等。该装置可以用于对终端接收的邮件包含的文档、以及终端登录的微博、贴吧或者博客中的文档进行过滤，判断文档是否为垃圾文档。102、垃圾文档过滤装置将中文文档中的中文字符转换成拼音字符，得到拼音文档。可选的，如果待检查的中文文档中包含英文字符，为了避免英文字符与中文字符转换得到的拼音字符混淆，在垃圾文档过滤装置将中文文档中的中文字符转换成拼音字符，得到拼音文档之前，可以将中文文档中的大写英文字符转换成小写英文字符。其中，垃圾文档过滤装置可以先查询中文文档中的大写英文字符，并将大写英文字符转换成小写英文字符，然后垃圾文档过滤装置可以将中文文档中的中文字符转换成拼音字符，且拼音字符的首字母设置为大写格式，与英文字符进行区分。垃圾文档过滤装置将中文文档中的中文字符转换成拼音字符的过程可以为垃圾文档过滤装置可以对中文文档进行通用转换格式(UnicodeTransformation Format, UTF)编码，获取中文文档中的每个中文字符对应的区位码，并根据每个中文字符对应的区位码，查询静态查找表，获取每个中文字符对应的拼音字符其中，静态查找表中包含区位码及其对应的拼音字符。从而降低将中文文档中的中文字符转化成拼音字符带来的额外开销。103、垃圾文档过滤装置根据中文关键词对应的拼音，对拼音文档进行匹配。其中，在根据中文关键词对应的拼音，对拼音文档进行匹配之前，对于两个以上拼音相同的中文关键词，可以将该两个以上拼音相同的中文关键词中的中文字符转换为对应的拼音字符。例如，中文关键词“待开发票”、“代开发票”、“代开发飘”以及“代开發漂”等对应的拼音关键词为“Dai Kai Fa Piao”，若与“待”字对应的拼音相同的中文字符有nl个，与“开”字对应的拼音相同的中文字符有n2个，与“发”字对应的拼音相同的中文字符有n3个，与“票”字对应的拼音相同的中文字符有n4个，与关键词“待开发票”对应的拼音相同的关键词可以有nl*n2*n3*n4个，即nl*n2*n3*n4个中文关键词对应一个拼音关键词“Dai KaiFaPiao”，而每个关键词对应一条过滤规则。因此，根据中文关键词对应的拼音，对拼音文档进行匹配，多个拼音相同的中文关键词对应一个拼音关键词，可以减少关键词的数量，对应的减少过滤规则的数量，进而提高关键词匹配效率。进一步地，中文关键词可以为正则中文关键词，拼音关键词可以为正则拼音关键词，垃圾文档过滤装置可以将正则中文关键词对应的正则拼音关键词预先保存在拼音文件中，并采用flex(fast LEXical compiler)工具将该拼音文件转化为C文件，然后通过编译器将C文件编译为动态链接库，垃圾文档过滤装置在对拼音文档进行正则匹配的过程中，可以调用动态链接库对拼音文档进行匹配，从而进一步地提高匹配效率。例如，拼音关键词“Dai Kai Fa Piao对应的过滤规则为〃Dai〃( s:.{0，7})Kai( s:· *)Fa( s:· {0，7}) Piao，其中，(？s:· {0,7})表示“Dai”和“Kai”之间的距离范围为0-7个拼音字符，( s:.*)表示“Kai”和“Fa”之间的距离为任意距离。垃圾文档过滤装置可以将上述过滤规则保存到flex的模板文件rule.1中，格式如下 …%%Dai( s:· {0，7})Kai ( s: · *)Fa ( s: · {0，7})Piao{return 100;}%% ...然后采用flex工具将保存有上述过滤规则的模板文件rule.1转换为二进制C文件，并将C文件编译成动态链接库(shared object, SO)文件。其中，如果垃圾文档过滤装置在拼音文档中“Dai ”之后，且距离“Dai ” 0-7个拼音字符的范围内查找到“Kai ”，以及在〃Fa〃之后，且距离〃Fa〃0_7个拼音字符的范围内查找到〃Piao〃，则说明垃圾文档过滤装置在拼音文档中查找到与拼音关键词“Dai Kai Fa Piao”匹配的拼音字符，则确定与拼音文档对应的中文文档为垃圾文档。104、若拼音文档中的拼音字符与中文关键词对应的拼音匹配，则垃圾文档过滤装置将待检查的中文文档确定为垃圾文档。 若拼音文档中的拼音字符与中文关键词对应的拼音不匹配，则垃圾文档过滤装置将待检查的中文文档确定为正常本文档来自技高网...
【技术保护点】
一种基于关键词的垃圾文档过滤方法，其特征在于，包括：获取待检查的中文文档；将所述中文文档中的中文字符转换成拼音字符，得到拼音文档；根据中文关键词对应的拼音，对所述拼音文档进行匹配；若所述拼音文档中的拼音字符与所述中文关键词对应的拼音匹配，则将所述待检查的中文文档确定为垃圾文档。
【技术特征摘要】
1.一种基于关键词的垃圾文档过滤方法，其特征在于，包括 获取待检查的中文文档； 将所述中文文档中的中文字符转换成拼音字符，得到拼音文档； 根据中文关键词对应的拼音，对所述拼音文档进行匹配； 若所述拼音文档中的拼音字符与所述中文关键词对应的拼音匹配，则将所述待检查的中文文档确定为垃圾文档。2.根据权利要求1所述的方法，其特征在于，所述将所述中文文档中的中文字符转换成拼音字符，得到拼音文档，包括 对所述中文文档中的中文字符进行通用转换格式UTF编码，得到每个所述中文字符对应的区位码； 根据每个所述中文字符对应的区位码在静态查找表中查询对应的拼音字符，所述静态查找表中包含区位码及其对应的拼音字符； 根据每个所述中文字符对应的拼音字符，得到所述拼音文档。3.根据权利要求2所述的方法，其特征在于，若所述待检查的中文文档中包含英文字符，则在所述将所述中文文档中的中文字符转换成拼音字符，得到拼音文档之前，还包括 将所述中文文档中的英文字符转换成小写英文字符。4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据中文关键词对应的拼音，对所述拼音文档进行匹配之前，还包括 获取两个以上拼音相同的中文关键词； 将所述两个以上拼音相同的中文关键词中的中文字符转换为对应的拼音字符。5.根据权利要求1所述的方法，其特征在于，所述根据中文关键词对应的拼音，对所述拼音文档进行匹配，包括 将所述中文关键词对应的拼首编译成动...
【专利技术属性】
技术研发人员：黄福昌，田飞，李雪明，
申请(专利权)人：北京二六三企业通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。