基于DOM树抽象的包装器自动生成方法技术

本发明专利技术涉及一种基于DOM树抽象的包装器自动生成方法。包装器生成阶段：用户输入网页集合，得到DOM树集合；而后，对DOM树进行合并，遍历DOM树对相同标签的子节点进行合并，并且针对每个节点进行路径特征标注，最终将DOM树集合转化为合并树集合；对合并树集合进行抽象操作得到抽象树，并将抽象树存入数据库中；根据配置文档确定结构化数据在合并树中的路径特征，将对应的路径特征经过处理后写入文档中，生成包装器；结构化数据抽取阶段：将待抽取的目标网页解析成DOM树，与抽象树进行匹配确定目标网页是否为包装器对应的类型网页；读取配置文档中的路径对目标DOM树进行抽取。本发明专利技术不仅能实现自动化生产包装器，并且在准确率和时间性能上也有较好的表现。

【技术实现步骤摘要】
基于DOM树抽象的包装器自动生成方法
本专利技术属于云计算领域，具体涉及一种基于DOM树抽象的包装器自动生成方法。
技术介绍
传统的包装器都由人工定义，要为不同类型的页面制作不同的包装器，因此包装器的维护是一个很大的开销，一旦原来的页面风格变了，原来的包装器也就需要重新定义。因此，目前主流的研究趋势是包装器的自动生成，本申请提出一种可行的基于DOM树抽象的包装器自动生成技术。该技术主要有两个部分组成：第一，目标类型网页的DOM树抽象；第二，目标节点的特征获取和定位。运用该技术可以对多种类型的网页实现包装器的自动生成。针对5个网站进行了实验，实验结果表明该方法的可行性和有效性。
技术实现思路
本专利技术的目的在于提供一种基于DOM树抽象的包装器自动生成方法，该方法不仅能实现自动化生产包装器，并且在准确率和时间性能上也有较好的表现。为实现上述目的，本专利技术的技术方案是：一种基于DOM树抽象的包装器自动生成方法，包括如下步骤，步骤S1、包装器生成阶段：步骤S11、用户输入网页集合，通过网页预处理去除源码中的杂质信息，并解析成DOM树，得到DOM树集合；步骤S12、对DOM树进行合并，遍历DO本文档来自技高网...

【技术保护点】
一种基于DOM树抽象的包装器自动生成方法，其特征在于：包括如下步骤，步骤S1、包装器生成阶段：步骤S11、用户输入网页集合，通过网页预处理去除源码中的杂质信息，并解析成DOM树，得到DOM树集合；步骤S12、对DOM树进行合并，遍历DOM树对相同标签的子节点进行合并，并且针对每个节点进行路径特征标注，最终将DOM树集合转化为合并树集合；步骤S13、对合并树集合进行抽象操作得到抽象树，并将抽象树存入数据库中；步骤S14、根据配置文档确定结构化数据在合并树中的路径特征，将对应的路径特征经过处理后写入文档中，生成包装器；步骤S2、结构化数据抽取阶段：步骤S21、将待抽取的目标网页解析成DOM树；步骤...

【技术特征摘要】
1.一种基于DOM树抽象的包装器自动生成方法，其特征在于：包括如下步骤，步骤S1、包装器生成阶段：步骤S11、用户输入网页集合，通过网页预处理去除源码中的杂质信息，并解析成DOM树，得到DOM树集合；步骤S12、对DOM树进行合并，遍历DOM树对相同标签的子节点进行合并，并且针对每个节点进行路径特征标注，最终将DOM树集合转化为合并树集合；步骤S13、对合并树集合进行抽象操作得到抽象树，并将抽象树存入数据库中；步骤S14、根据配置文档确定结构化数据在合并树中的路径特征，将对应的路径特征经过处理后写入文档中，生成包装器；步骤S2、结构化数据抽取阶段：步骤S21、将待抽取的目标网页解析成DOM树；步骤S22、将DOM树与抽象树进行匹配确定目标网页是否为包装器对应的类型网页；步骤S23、读取配置文档中的路径对目标DOM树进行抽取。2.根据权利要求1所述的基于DOM树抽象的包装器自动生成方法，其特征在于：所述步骤S12采用CombinerTree算法实现将DOM树集合转化为合并树集合，具体的CombinerTree算法实现如下：(1)设child[n0]为DOM树Ti的根节点vi子节点；(2)输入节点vi，若vi存在子节点，则获取vi的子节点并存入child[n0]；(3)对child[n0]中的所有子节点进行两两判断：假设选取的两个vi的子节点为k、h，若k≠h，并且k的标签＝h的标签，则获取子节点h...

【专利技术属性】
技术研发人员：陈星，张佳俊，王一洲，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35