【技术实现步骤摘要】
页面内容划分方法、装置、可读存储介质及电子设备
本公开涉及页面内容处理领域，具体地，涉及一种页面内容划分方法、装置、可读存储介质及电子设备。
技术介绍
随着互联网技术的快速发展，针对大数据量的页面的处理尤为重要。现有技术中，可以比较简单的获取到页面的源代码，从该大量的页面中提取出用户所需要的内容便成为了亟待解决的问题。
技术实现思路
本公开的目的是提供一种页面内容划分方法、装置、可读存储介质及电子设备。为了实现上述目的，根据本公开的第一方面，提供一种页面内容划分方法，所述方法包括：根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；针对每一页面分组，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化程度；根据所述内容节点的权重，确定所述内容节点对应的标识，以进行页面内容划分。根据本公开的第二方面，提供一种页面内容划分...
【技术保护点】
1.一种页面内容划分方法，其特征在于，所述方法包括：根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；针对每一页面分组，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化程度；根据所述内容节点的权重，确定所述内容节点对应的标识，以进行页面内容划分。
【技术特征摘要】
1.一种页面内容划分方法，其特征在于，所述方法包括：根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；针对每一页面分组，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化程度；根据所述内容节点的权重，确定所述内容节点对应的标识，以进行页面内容划分。2.根据权利要求1所述的方法，其特征在于，通过以下公式确定所述内容节点的权重：其中，Pweight表示所述内容节点的权重；variability表示所述内容节点的文本变化度；length表示所述内容节点的文本平均长度；Cweighti表示所述内容节点的第i个子节点的权重；n表示所述内容节点的子节点的总个数；α表示预设系数，其中，α的取值范围为(0.5,1)。3.根据权利要求1所述的方法，其特征在于，所述根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，包括以下中的至少一者：将在不同dom树中具有相同文本和路径的节点分为一组，当该组节点中的节点数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点中的每个节点在所属dom树中的路径进行合并，获得所述第一特征路径；将在所属dom树中只出现一次，且在不同dom树中具有相同标签属性和路径的节点分为一组，当该组节点中的节点数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点中的每个节点在所属dom树中的路径进行合并，获得所述第一特征路径；将在所属dom树中只出现一次，且在不同dom树中具有相同标签属性和路径的节点子网分为一组，当该组节点子网中的节点子网数量与当前页面分组下的dom树总数的比值超过第一阈值时，将该组节点子网中的每个节点子网在所属dom树中的路径进行合并，获得所述第一特征路径。4.根据权利要求1所述的方法，其特征在于，在确定出所述第一特征路径之后，所述方法还包括：将所述第一特征路径上的至少一个节点分别作为目标节点，执行如下操作：确定当前页面分组下包括该目标节点且该目标节点在其中具有子节点的dom树为目标dom树；当所述目标dom树为多个时，从多个所述目标dom树中的各条候选路径中，根据候选路径的子节点之间的相似度参数，确定能够被合并的候选路径，并对确定出的能够被合并的候选路径进行合并，获得第二特征路径，其中，所述候选路径为所述目标dom树中，所述目标节点与该目标节点的一个子节点形成的路径；所述至少根据所述第一特征路径确定当前页面分组中的内容节点，包括：根据所述第一特征路径和所述第二特征路径，确定当前页面分组中的内容节点。5.根据权利要求1所述的方法，其特征在于，所述根据所述内容节点的权重，确定所述内容节点对应的标识，包括：若权重最大的内容节点的父节点除该内容节点外不存在其他子节点，为所述权重最大的内容节点的父节点标记正文标识。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在确定出所述内容节点之后，按照广度优先的顺序对所述内容节点进行编号；所述根据所述内容节点的权重，确定所述内容节点对应的标识，还包括：将序号小于所述正文标识对应的节点的序号的内容节点中，文本变化度超过第二阈值的节点确定为潜在标题节点；在所述潜在标题节点满足以下条件中的任一者时，为所述潜在标题节点标记标题标识：所述潜在标题节点的数量为一个；所述潜在标题节点对应HTML标签中的标题标签；所述潜在标题节点的属性中包含标题属性；所述潜在标题节点对应的文本平均长度低于第三阈值、且对应的文本长度的标准差低于第四阈值；在当前页面分组的包括所述潜在标题节点的页面中，满足所述潜在标题节点对应的文本与所属页面的显示标题内容相似这一条件的页面数量、与所述当前页面分组中的页面总数的比值超过第五阈值。7.根据权利要求6所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：张文豪，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。