JSON字符串的处理方法及装置制造方法及图纸

本发明专利技术公开了一种JSON字符串的处理方法及装置。其中，该方法包括：获取待处理的JSON字符串；根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合；按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标。本发明专利技术解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。

【技术实现步骤摘要】
JSON字符串的处理方法及装置
本专利技术涉及数据存储领域，具体而言，涉及一种JSON字符串的处理方法及装置。
技术介绍
目前，在对大数据进行存储时，通常会采用Impala等列存储引擎。对于具有多对多关联的数据表，往往存在着在实体与实体之间的多对多关联。在上述具有多对多关联的数据表进行查询时，表连接Shuffle开销比较大，查询性能不是很高。为了提高列存储引擎的查询性能，可以将具有多对多关联的多条数据以JSON(JavaScriptObjectNotation，JavaScript对象表示法)数据格式存储在一个字符串当中，并存储于同一个字段内。由于多条数据存储于一个JSON格式的字符串中，当需要对JSON字符串中的数据内容进行分析时，通常需要先对JSON字符串进行反序列化处理后，再进行后续的分析处理，往往运行效率很低。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种JSON字符串的处理方法及装置，以至少解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。根据本专利技术实施例的一个方面，提供了一种JSON字符串的处理方法，包括：获取待处理的JSON字符串；根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合；按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标。进一步地，聚合处理参数至少包括：筛选参数和聚合参数，其中，按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标，包括：按照筛选参数对字段集合进行筛选，生成待聚合字段集合；按照聚合参数对聚合字段集合进行聚合处理，确定聚合指标。进一步地，根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合，包括：确定第一格式规则中用于对JSON字符串中的多条信息进行分割的预设字符；根据预设字符对JSON字符串进行拆分，生成字段集合。进一步地，在根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合之后，方法还包括：获取预先设置的筛选条件，其中，筛选条件至少包括:关键字；利用筛选条件对字段集合中的字段进行筛选，生成新字段集合。进一步地，按照预先设置的聚合处理参数对字段进行聚合处理，确定与聚合处理参数对应的聚合指标，包括：获取预先设置的聚合处理参数，其中，聚合处理参数至少包括：求和参数、计数参数；根据聚合处理参数对字段集合中的字段进行聚合处理，确定与聚合处理参数对应的聚合指标。进一步地，在按照预先设置的聚合处理参数对字段进行聚合处理，确定聚合处理参数对应的聚合指标之后，方法还包括：按照预先设置的第二格式规则对聚合指标进行处理，生成聚合指标字符串。进一步地，在按照预先设置的第二格式规则对聚合指标进行处理，生成聚合指标字符串之前，方法还包括：按照预先设置的分析参数对聚合指标进行处理，得到新聚合指标。根据本专利技术实施例的另一方面，还提供了一种JSON字符串的处理装置，包括：第一获取模块，用于获取待处理的JSON字符串；第一生成模块，用于根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合；确定模块，用于按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标。进一步地，聚合处理参数至少包括：筛选参数和聚合参数，其中，确定模块包括：子筛选模块，用于按照筛选参数对字段集合进行筛选，生成待聚合字段集合；子聚合模块，用于按照聚合参数对聚合字段集合进行聚合处理，确定聚合指标。进一步地，其特征在于，装置还包括：第三生成模块，用于按照预先设置的第二格式规则对聚合指标进行处理，生成聚合指标字符串。在本专利技术实施例中，采用获取待处理的JSON字符串；根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合；按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标的方式，达到了直接对JSON字符串中的数据信息进行聚合处理的目的，从而实现了提高对JSON字符串的处理效率的技术效果，进而解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种JSON字符串的处理方法的流程图；图2是根据本专利技术实施例的一种JSON字符串的处理装置的示意图；以及图3是根据本专利技术实施例的一种可选的JSON字符串的处理装置的示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述预设的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本专利技术实施例，提供了一种JSON字符串的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1是根据本专利技术实施例的JSON字符串的处理方法的流程图，如图1所示，该方法包括如下步骤：步骤S21，获取待处理的JSON字符串。步骤S23，根据JSON字符串的第一格式规则对JSON字符串进行拆分，生成字段集合。步骤S25，按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理，确定聚合指标。具体的，通过步骤S21至步骤S25，首先，将获取到的JSON字符串进行拆分处理，拆分得到与JSON字符串对应的字段集合，从而根据字段确定JSON字符串中包含的多条数据信息。然后，根据预先设置的聚合处理参数对字段集合中的数据信息进行聚合处理，从而得到相应的聚合指标。其中，在生成JSON字符串时，是按照固定的格式规则进行生成的，因此，可以通过对JSON字符串中用于分割数据信息的预设字符进行识别，实现对JSON字符串进行拆分，从而得到字段集合。通过上述方法，达到了直接对JSON字符串中的数据信息进行聚合处理的目的，从而实现了提高对JSON字符串的处理效率的技术效果，进而解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。作为一种可选的实施方式，所述聚合处理参数至少包括：筛选参数和聚合参数，其中，在步骤S25按照预先设置的聚合处理参数对所述字段集合中的字段进行聚合处理，确定聚合指标中，可以包括：步骤S251，按照所述本文档来自技高网...

【技术保护点】
一种JSON字符串的处理方法，其特征在于，包括：获取待处理的JSON字符串；根据所述JSON字符串的第一格式规则对所述JSON字符串进行拆分，生成字段集合；按照预先设置的聚合处理参数对所述字段集合中的字段进行聚合处理，确定聚合指标。

【技术特征摘要】
1.一种JSON字符串的处理方法，其特征在于，包括：获取待处理的JSON字符串；根据所述JSON字符串的第一格式规则对所述JSON字符串进行拆分，生成字段集合；按照预先设置的聚合处理参数对所述字段集合中的字段进行聚合处理，确定聚合指标。2.根据权利要求1所述的方法，其特征在于，所述聚合处理参数至少包括：筛选参数和聚合参数，其中，按照预先设置的聚合处理参数对所述字段集合中的字段进行聚合处理，确定聚合指标，包括：按照所述筛选参数对所述字段集合进行筛选，生成待聚合字段集合；按照所述聚合参数对所述聚合字段集合进行聚合处理，确定所述聚合指标。3.根据权利要求1所述的方法，其特征在于，根据所述JSON字符串的第一格式规则对所述JSON字符串进行拆分，生成字段集合，包括：确定所述第一格式规则中用于对所述JSON字符串中的多条信息进行分割的预设字符；根据所述预设字符对所述JSON字符串进行拆分，生成所述字段集合。4.根据权利要求1所述的方法，其特征在于，在根据所述JSON字符串的第一格式规则对所述JSON字符串进行拆分，生成字段集合之后，所述方法还包括：获取预先设置的筛选条件，其中，所述筛选条件至少包括:关键字；利用所述筛选条件对所述字段集合中的字段进行筛选，生成新字段集合。5.根据权利要求1所述的方法，其特征在于，按照预先设置的聚合处理参数对所述字段进行聚合处理，确定与所述聚合处理参数对应的聚合指标，包括：获取预先设置的所述聚合处理参数，其中，所述聚合处理参数至...

【专利技术属性】
技术研发人员：洪超，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11