一种基于集成学习的URL清洗系统及方法技术方案

本发明专利技术公开了一种基于集成学习的URL清洗系统及方法，其通过爬取网站的URL及其对应的网站标题；判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；对所标记的A类标题和B类标题分词处理，并根据分词结果进行朴素贝叶斯算法的训练和预测，并构造与分词结果相应的正则表达式；然后采用Stacking算法进行融合处理得到融合结果；最后采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，并通过所述决策树模型对URL进行清洗；从而极大的提高了URL清洗效率，节省大量的人工检查时间，并提高了验证URL所对应网站标题的准确程度。

【技术实现步骤摘要】
一种基于集成学习的URL清洗系统及方法
本专利技术涉及网络信息处理
，特别是一种基于集成学习的URL清洗系统及其应用该系统的方法。
技术介绍
URL，也被称为网页地址，是Internet上标准的资源的地址，用于完整地描述Internet上网页和其他资源的地址的一种标识方法。Internet上的每一个网页都具有一个唯一的URL地址名称标识，通常称之为URL地址，这种地址可以是本地磁盘，也可以是局域网上的某一台计算机，更多的是Internet上的站点。简单地说，URL就是Web地址，俗称“网址”。通常爬虫工程师在爬完网站数据之后要对这些数据做清洗操作，其中比较麻烦的就是URL的清洗。网站的标题可以说是公司的门面，传统系统容易漏掉奇特的标题，如：“白衣天使”，这很明显能看出是医院的网站，但是通过传统系统就很可能会把这个标题过滤掉。因此，传统系统的不足之处在于需要人工去标注数据，前期会消耗一定的人力。
技术实现思路
本专利技术为解决上述问题，提供了一种基于集成学习的URL清洗系统及方法，通过采用朴素贝叶斯算法与正则表达式的集成学习进行网站标题的识别，能够极大的提高URL的清洗效率。为实现上述目的，本专利技术采用的技术方案为：一种基于集成学习的URL清洗系统，其包括：数据爬取模块，用于爬取网站的URL及其对应的网站标题；数据标记模块，其通过判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；初级预测模型一，用于对所标记的A类标题和B类标题进行分词，计算分词结果的权重值，然后用朴素贝叶斯算法对所述权重值进行训练和预测，得到初级预测模型一；初级预测模型二，用于对所标记的A类标题或B类标题进行分词并统计分词结果的词频，然后根据所述分词结果的词频进行构造所述分词结果相应的正则表达式，作为初级预测模型二；模型融合模块，其采用Stacking算法对所述初级预测模型一和所述初级预测模型二的训练数据和测试数据进行融合，得到融合结果；次级预测模型，其采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，作为次级预测模型，并通过所述次级预测模型对URL进行清洗。优选的，所述的数据爬取模块中，是根据爬取主题进行设置对应的爬取关键词，并利用Python爬虫进行获取所述爬取关键词相关联的URL，并同时爬取所述URL对应的网站标题。进一步的，所述爬取主题为指定行业的公司类型或者指定领域的技术类别。优选的，所述的数据标记模块中，若所述网站标题与指定的爬取主题一致，则将所述网站标题标记为A类标题；若所述网站标题与指定的爬取主题不一致或为非法标题或为状态码不为200的服务器提示标题，则标记为B类标题。优选的，所述的初级预测模型一中，是通过计算所述A类标题和所述B类标题的分词结果的TF-IDF权重值，然后用朴素贝叶斯算法对TF-IDF权重值的训练和预测。优选的，所述的初级预测模型二中，对所述A类标题和所述B类标题进行分词后，还进一步采用Python中的collections包里的Counter模块进行统计所述分词结果的词频，根据所述分词结果的词频进行构造所述分词结果相应的正则表达式。优选的，所述的数据标记模块中将所述网站标题标记为A类标题和B类标题后，按预设比例将所述网站标题划分为初级训练集和初级测试集；所述初级预测模型一或所述初级预测模型二利用所述初级训练集和所述初级测试集进行模型的训练和测试。优选的，所述的模型融合模块中，对所述初级预测模型一和所述初级预测模型二训练数据和测试数据进行融合，进一步包括：(1)采用Stacking算法将所述初级训练集和所述初级测试集分成k份数据集；(2)对于第i份数据集，i＝1～k，用剩余k-1份数据集作为次级训练集，分别对所述初级预测模型一和所述初级预测模型二进行训练，并以所述第i份数据集作为次级测试集，分别对所述初级预测模型一和所述初级预测模型二进行预测；(3)重复步骤(2)，直到完成所述k份数据集的每一份的预测，得到所述初级预测模型一和所述初级预测模型二的融合结果。所述的次级预测模型中，采用决策树算法对所述融合结果进行训练和预测，包括：将所述次级测试集的预测结果作为所述次级预测模型的训练数据；根据预设的测试集对所述k份数据集进行预测，得到对应的k分预测结果，并将所述k份预测结果进行加权平均得到平均预测结果，将该平均预测结果作为所述次级预测模型输入的测试数据。与所述清洗系统相对应的，本专利技术还提供一种基于集成学习的URL清洗方法，其包括以下步骤：a.爬取网站的URL及其对应的网站标题；b.判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；c.对所标记的A类标题和B类标题进行分词；d.计算分词结果的权重值，然后用朴素贝叶斯算法对所述权重值进行训练和预测；e.统计分词结果的词频，然后根据所述分词结果的词频进行构造所述分词结果相应的正则表达式；f.采用Stacking算法对所述步骤d和所述步骤e的训练数据和测试数据进行融合，并以所述步骤d的预测结果和所述步骤e的预测结果作为输入特征，得到融合结果；g.采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，并通过所述决策树模型对URL进行清洗。本专利技术的有益效果是：(1)本专利技术通过结合朴素贝叶斯算法和正则表达式的集成学习进行网站标题的识别，从而进行网站URL的过滤和清洗，能够极大的提高URL清洗效率，节省大量的人工检查时间；(2)本专利技术仅需对与主题不符的网站标题进行构造正则表达式，无需对所有网站标题进行分析，极大的提高了计算效率；(3)本专利技术通过Stacking算法对所述朴素贝叶斯算法的预测结果和所述正则表达式的预测结果进行融合，提高了URL验证的准确程度。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合具体实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。一种基于集成学习的URL清洗系统，其包括：数据爬取模块，用于爬取网站的URL及其对应的网站标题；数据标记模块，其通过判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；初级预测模型一，用于对所标记的A类标题和B类标题进行分词，计算分词结果的权重值，然后用朴素贝叶斯算法对所述权重值进行训练和预测，得到初级预测模型一；初级预测模型二，用于对所标记的A类标题或B类标题进行分词并统计分词结果的词频，然后根据所述分词结果的词频进行构造所述分词结果相应的正则表达式，作为初级预测模型二；模型融合模块，其采用Stacking算法对所述初级预测模型一和所述初级预测模型二的训练数据和测试数据进行融合，得到融合结果；次级预测模型，其采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，作为次级预测模型，并通过所述次级预测模型对URL进行清洗。所述的数据爬取模块中，是根据爬取主题进行设置对应的爬取关键词，并利用Python爬虫进行获取所述爬取关键词相关联的URL，并同时爬取所述URL对应的网站标题。其中，所述网站标题的提取方法是采用Xpath对所述爬取得到网站进行字符串匹配，获取<本文档来自技高网...

【技术保护点】
1.一种基于集成学习的URL清洗系统，其特征在于，包括：数据爬取模块，用于爬取网站的URL及其对应的网站标题；数据标记模块，其通过判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；初级预测模型一，用于对所标记的A类标题和B类标题进行分词，计算分词结果的权重值，然后用朴素贝叶斯算法对所述权重值进行训练和预测，得到初级预测模型一；初级预测模型二，用于对所标记的A类标题或B类标题进行分词并统计分词结果的词频，然后根据所述分词结果的词频进行构造所述分词结果相应的正则表达式，作为初级预测模型二；模型融合模块，其采用Stacking算法对所述初级预测模型一和所述初级预测模型二的训练数据和测试数据进行融合，得到融合结果；次级预测模型，其采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，作为次级预测模型，并通过所述次级预测模型对URL进行清洗。

【技术特征摘要】
1.一种基于集成学习的URL清洗系统，其特征在于，包括：数据爬取模块，用于爬取网站的URL及其对应的网站标题；数据标记模块，其通过判断所述网站标题是否与指定的爬取主题一致，若是，则将所述网站标题标记为A类标题，否则标记为B类标题；初级预测模型一，用于对所标记的A类标题和B类标题进行分词，计算分词结果的权重值，然后用朴素贝叶斯算法对所述权重值进行训练和预测，得到初级预测模型一；初级预测模型二，用于对所标记的A类标题或B类标题进行分词并统计分词结果的词频，然后根据所述分词结果的词频进行构造所述分词结果相应的正则表达式，作为初级预测模型二；模型融合模块，其采用Stacking算法对所述初级预测模型一和所述初级预测模型二的训练数据和测试数据进行融合，得到融合结果；次级预测模型，其采用决策树算法对所述融合结果进行训练和预测，得到决策树模型，作为次级预测模型，并通过所述次级预测模型对URL进行清洗。2.根据权利要求1所述的一种基于集成学习的URL清洗系统，其特征在于：所述的数据爬取模块中，是根据爬取主题进行设置对应的爬取关键词，并利用Python爬虫进行获取所述爬取关键词相关联的URL，并同时爬取所述URL对应的网站标题。3.根据权利要求2所述的一种基于集成学习的URL清洗系统，其特征在于：所述爬取主题为指定行业的公司类型或者指定领域的技术类别。4.根据权利要求1所述的一种基于集成学习的URL清洗系统，其特征在于：所述的数据标记模块中，若所述网站标题与指定的爬取主题一致，则将所述网站标题标记为A类标题；若所述网站标题与指定的爬取主题不一致或为非法标题或为状态码不为200的服务器提示标题，则标记为B类标题。5.根据权利要求1所述的一种基于集成学习的URL清洗系统，其特征在于：所述的初级预测模型一中，是通过计算所述A类标题和所述B类标题的分词结果的TF-IDF权重值，然后用朴素贝叶斯算法对TF-IDF权重值的训练和预测。6.根据权利要求1所述的一种基于集成学习的URL清洗系统，其特征在于：所述的初级预测模型二中，对所述A类标题和所述B类标题进行分词后，还进一步采用Python中的collections包里的Counter模块进行统计所述分词结果的词频，根据所述分词结果的词频进行构造所述分词结果相应的正则表达式。7.根据权利要求1至6任一...

【专利技术属性】
技术研发人员：陈鑫，肖龙源，蔡振华，李稀敏，刘晓葳，谭玉坤，
申请(专利权)人：厦门快商通信息技术有限公司，
类型：发明
国别省市：福建,35