树型文件的流式处理方法、装置、设备以及存储介质制造方法及图纸

本公开的实施例提供了一种树型文件的流式处理方法、装置、设备以及存储介质。该方法包括：将待处理的树型文件中的开始标签及其对应的结束标签，以及相邻开始标签与结束标签之间的文本内容划分为数据块；按照划分得到的数据块的顺序依次向处理器发送数据块，形成数据流；对数据流进行流式处理。以此方式，可以使得处理器能够连续对小批量的数据进行流式处理，在降低处理器压力的同时又可提高文件处理效率。率。率。

【技术实现步骤摘要】
树型文件的流式处理方法、装置、设备以及存储介质


[0001]本公开涉及数据处理
，尤其涉及一种树型文件的流式处理方法、装置、设备以及存储介质。

技术介绍

[0002]传统的数据处理中，先统一收集数据，再存到数据库中，然后对表中的全部数据进行批量计算后输出结果。即批量处理是一次性完成，对数据的时效性要求不高，但对处理器性能要求高。
[0003]随着信息系统的发展，系统数量及数据含量不断增加，产生了XML、JSON等文件来存储大容量树型结构数据，同时网页使用的HTML文件，配置文件使用的YAML文件等也都是树型结构。虽然处理器性能也在不断提升，但使用批量处理方法对超大树型文件进行处理，还是会给处理器带来极大压力，且处理效率较慢，延迟较高。

技术实现思路

[0004]本公开提供了一种树型文件的流式处理方法、装置、设备以及存储介质，可以提高树型文件处理效率。
[0005]第一方面，本公开实施例提供了一种树型文件的流式处理方法，该方法包括：
[0006]将待处理的树型文件中的开始标签及其对应的结束标签，以及相邻开始标签与结束标签之间的文本内容划分为数据块；
[0007]按照划分得到的数据块的顺序依次向处理器发送数据块，形成数据流；
[0008]对数据流进行流式处理。
[0009]在第一方面的一些可实现方式中，该方法还包括：
[0010]若根据树型文件的文件大小和时效级别确定树型文件满足预设处理条件，则对树型文件进行流式处理。
[0011]在第一方面的一些可实现方式中，对数据流进行流式处理，包括：
[0012]依次对数据流中的数据块进行如下处理：
[0013]若当前数据块为开始标签，且当前数据块为首个数据块，则根据根路径和当前数据块，生成当前数据块的模拟路径及其对应的节点；
[0014]若当前数据块为开始标签，且当前数据块非首个数据块，则根据上一数据块的模拟路径和当前数据块，生成当前数据块的模拟路径及其对应的节点；
[0015]若当前数据块为文本内容，则将当前数据块保存至上一数据块的节点；
[0016]若当前数据块为结束标签，且当前数据块非最后一个数据块，则确定对应开始标签所属数据块的上一数据块的模拟路径为当前数据块的模拟路径；
[0017]若当前数据块为结束标签，且当前数据块为最后一个数据块，则确定当前数据块的模拟路径为根路径。
[0018]在第一方面的一些可实现方式中，该方法还包括：
[0019]若当前数据块为开始标签，且当前数据块非首个数据块，其内存在标签属性，则将标签属性保存至当前数据块的节点。
[0020]在第一方面的一些可实现方式中，该方法还包括：
[0021]将各节点中的数据保存至内存；
[0022]在进行数据统计的情况下，从内存中提取各节点对应的数据，并生成统计文件。
[0023]在第一方面的一些可实现方式中，该方法还包括：
[0024]根据输入的模拟路径，查询对应节点，并获取节点中的数据。
[0025]在第一方面的一些可实现方式中，树型文件为XML文件、JSON文件、HTML文件或者YAML文件。
[0026]第二方面，本公开实施例提供了一种树型文件的流式处理装置，该装置包括：
[0027]划分模块，用于将待处理的树型文件中的开始标签及其对应的结束标签，以及相邻开始标签与结束标签之间的文本内容划分为数据块；
[0028]发送模块，用于按照划分得到的数据块的顺序依次向处理器发送数据块，形成数据流；
[0029]处理模块，用于对数据流进行流式处理。
[0030]第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如以上所述的方法。
[0031]第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如以上所述的方法。
[0032]在本公开中，可以对树型文件进行分块，并以数据流的形式向处理器发送，使得处理器能够连续对小批量的数据进行流式处理，在降低处理器压力的同时又可提高树型文件处理效率。
[0033]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0034]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0035]图1示出了本公开实施例提供的一种树型文件的流式处理方法的流程图；
[0036]图2示出了本公开实施例提供的一种数据块划分示意图；
[0037]图3示出了本公开实施例提供的一种模拟路径变化与节点生成示意图；
[0038]图4示出了本公开实施例提供的一种树型文件的流式处理装置的结构图；
[0039]图5示出了一种能够实施本公开的实施例的示例性电子设备的结构图。
具体实施方式
[0040]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例
中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
[0041]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0042]针对
技术介绍
中出现的问题，本公开实施例提供了一种树型文件的流式处理方法、装置、设备以及存储介质。
[0043]具体地，可以将待处理的树型文件中的开始标签及其对应的结束标签，以及相邻开始标签与结束标签之间的文本内容划分为数据块，并按照划分得到的数据块的顺序依次向处理器发送数据块，形成数据流，以便处理器对数据流进行流式处理，从而在降低处理器压力的同时又可提高树型文件处理效率。
[0044]下面结合附图，通过具体的实施例对本公开实施例提供的树型文件的流式处理方法、装置、设备以及存储介质进行详细地说明。
[0045]其中，该流式处理方法可以应用于移动电子设备或非移动电子设备，例如，移动电子设备可以是平板电脑、笔记本电脑、掌上电脑或者超级移动个人计算机(Ultra
‑
Mobile Personal Computer，UMPC)等，非移动电子设备可以是个人计算机(Perso本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种树型文件的流式处理方法，其特征在于，所述方法包括：将待处理的树型文件中的开始标签及其对应的结束标签，以及相邻开始标签与结束标签之间的文本内容划分为数据块；按照划分得到的数据块的顺序依次向处理器发送所述数据块，形成数据流；对所述数据流进行流式处理。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若根据所述树型文件的文件大小和时效级别确定所述树型文件满足预设处理条件，则对所述树型文件进行流式处理。3.根据权利要求1所述的方法，其特征在于，所述对所述数据流进行流式处理，包括：依次对所述数据流中的数据块进行如下处理：若当前数据块为开始标签，且当前数据块为首个数据块，则根据根路径和当前数据块，生成当前数据块的模拟路径及其对应的节点；若当前数据块为开始标签，且当前数据块非首个数据块，则根据上一数据块的模拟路径和当前数据块，生成当前数据块的模拟路径及其对应的节点；若当前数据块为文本内容，则将当前数据块保存至上一数据块的节点；若当前数据块为结束标签，且当前数据块非最后一个数据块，则确定对应开始标签所属数据块的上一数据块的模拟路径为当前数据块的模拟路径；若当前数据块为结束标签，且当前数据块为最后一个数据块，则确定当前数据块的模拟路径为根路径。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若当前数据块为开始标签，且当前数据块非首个数据块，其内存在标签属性，则将所述标签属性保存至当...

【专利技术属性】
技术研发人员：郝伟，沈传宝，刘加瑞，
申请(专利权)人：安徽华云安科技有限公司，
类型：发明
国别省市：