页面体裁划分方法、装置、可读存储介质及电子设备制造方法及图纸

本公开涉及一种页面体裁划分方法、装置、可读存储介质及电子设备，所述方法包括：根据页面URL对多个页面进行分组；针对每一页面分组，在当前页面分组下的页面数量达到预设的数量阈值时，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；确定所述内容节点的权重；根据内容节点的权重，确定所述当前页面分组对应的页面体裁。由此，可以有效避免单页面特征进行页面体裁划分的片面性，有效提高页面体裁划分方法的适用范围，提高页面体裁划分结果的准确性。

Page Genre Partition Method, Device, Readable Storage Media and Electronic Equipment

【技术实现步骤摘要】
页面体裁划分方法、装置、可读存储介质及电子设备
本公开涉及数据处理领域，具体地，涉及一种页面体裁划分方法、装置、可读存储介质及电子设备。
技术介绍
随着互联网技术的快速发展，针对大数据量的页面的处理尤为重要。现有技术中，可以比较简单的获取到页面的源代码。然而，在抓取页面的内容时，通常需要对属于同一类别的页面内容进行抓取。而现有技术中通常根据某一页面的特征确定该页面的所述类别，其准确性较低。
技术实现思路
本公开的目的是提供一种可以快速且准确地进行页面体裁划分方法、装置、可读存储介质及电子设备。为了实现上述目的，根据本公开的第一方面，提供一种页面体裁划分方法，所述方法包括：根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；针对每一页面分组，在当前页面分组下的页面数量达到预设的数量阈值时，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化本文档来自技高网...

【技术保护点】
1.一种页面体裁划分方法，其特征在于，所述方法包括：根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；针对每一页面分组，在当前页面分组下的页面数量达到预设的数量阈值时，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化程度；根据内容节点的权重，确定所述当前页面分组对应的页面体裁。

【技术特征摘要】
1.一种页面体裁划分方法，其特征在于，所述方法包括：根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；针对每一页面分组，在当前页面分组下的页面数量达到预设的数量阈值时，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化程度；根据内容节点的权重，确定所述当前页面分组对应的页面体裁。2.根据权利要求1所述的方法，其特征在于，所述内容节点的权重至少包括所述内容节点对应的文本权重；通过以下公式确定所述内容节点的文本权重：其中，Pweight表示所述内容节点的文本权重；variability表示所述内容节点的文本变化度；length表示所述内容节点的文本平均长度；Cweighti表示所述内容节点的第i个子节点的文本权重；n表示所述内容节点的子节点的总个数；α表示预设系数，其中，α的取值范围为(0.5,1)。3.根据权利要求1所述的方法，其特征在于，所述根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，包括以下中的至少一者：将在不同dom树中具有相同文本和路径的节点分为一组，当该组节点中的节点数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点中的每个节点在所属dom树中的路径进行合并，获得所述第一特征路径；将在所属dom树中只出现一次，且在不同dom树中具有相同标签属性和路径的节点分为一组，当该组节点中的节点数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点中的每个节点在所属dom树中的路径进行合并，获得所述第一特征路径；将在所属dom树中只出现一次，且在不同dom树中具有相同标签属性和路径的节点子网分为一组，当该组节点子网中的节点子网数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点子网中的每个节点子网在所属dom树中的路径进行合并，获得所述第一特征路径。4.根据权利要求1所述的方法，其特征在于，在确定出所述第一特征路径之后，所述方法还包括：将所述第一特征路径上的至少一个节点分别作为目标节点，执行如下操作：确定当前页面分组下包括该目标节点且该目标节点在其中具有子节点的dom树为目标dom树；当所述目标dom树为多个时，从多个所述目标dom树中的各条候选路径中，根据候选路径的子节点之间的相似度参数，确定能够被合并的候选路径，并对确定出的能够被合并的候选路径进行合并，获得第二特征路径，其中，所述候选路径为所述目标dom树中，所述目标节点与该目标节点的一个子节点形成的路径；所述至少根据所述第一特征路径确定当前页面分组中的内容节点，包括：根据所述第一特征路径和所述第二特征路径，确定当前页面分组中的内容节点。5.根据权利要求1所述的方法，其特征在于，所述权重至少包括文本权重；所述根据内容节点的权重，确定所述当前页面分组对应的页面体裁，包括：根据所述内容节点的权重，确定所述内容节点的类型，其中，所述类型至少包括第一类型和第二类型，所述第一类型的内容节点的文本权重大于预设的第一权重阈值，第二类型的内容节点的文本权重小于预设的第二权重阈值，所述第二权重阈值小于所述第一权重阈值；根据所述内容节点的类型确定所述当前页面分组对应的页面体裁。6.根据权利要求5所述的方法，其特征在于，所述根据所述内容节点的类型确定所述当前页面分组对应的页面体裁，包括：若当前页面分组对应的内容节点中，存在权重大于第三权重阈值的第一类型的内容节点、且所述权重大于第三权重阈值的第一类型的内容节点的数量为一个，确定所述当前页面分组对应的页面体裁为文本详情页；或若当前页面分组对应的内容节点中，存在权重大于第三权重阈值的第一类型的内容节点、且所述权重大于第三权重阈值的第一类型的内容节点的数量为多个、且所述多个权重大于第三权重阈值的第一类型的内容节点之间为从属关系，确定所述当前页面分组对应的页面体裁为文本详情页；或若当前页面分组对应的内容节点中，...

【专利技术属性】
技术研发人员：张文豪，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11