一种结构化数据的处理方法和分布式处理系统技术方案

本发明专利技术实施例公开一种结构化数据的处理方法和分布式处理系统，用于提高写请求的处理效率，降低写操作队列的排队时延。该结构化数据的处理方法，包括：根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。

【技术实现步骤摘要】
一种结构化数据的处理方法和分布式处理系统
本专利技术涉及计算机
，尤其涉及一种结构化数据的处理方法和分布式处理系统。
技术介绍
随着网络技术的发展，对信息的传递和处理的要求越来越高，能够用数据或统一的结构加以表示的信息，我们称之为结构化数据，如数字、符号。结构化数据有特定的字段，即行数据,存储在数据库里，可以用二维表结构来逻辑表达实现的数据。例如用户使用社交软件发表一条说说，具有发表标识(Identifier，ID)、时间、标题、正文等字段。现有技术中，在处理结构化数据时通常采用如下方案：客户端向数据处理系统中的逻辑层发送写请求，为了保证原子性，数据处理系统根据列表标识(ListKey)将该写请求路由至写操作队列进行排队依次写入存储层，并依次返回客户端请求写入的结果。此时，写入数据的延迟＝存储层处理延迟+排队延迟。现有技术中，数据处理系统在处理结构化数据写入的时候，都是采取排队依次逐个数据写入的方式，在并发量比较大的场景下，会导致很多写请求超时以至于无法写入存储层，造成客户端写入数据失败。
技术实现思路
本专利技术实施例提供了一种结构化数据的处理方法和分布式处理系统，用于提高写请求的处理效率，降低写操作队列的排队时延。为解决上述技术问题，本专利技术实施例提供以下技术方案：第一方面，本专利技术实施例提供一种结构化数据的处理方法，包括：根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。第二方面，本专利技术实施例还提供一种分布式处理系统，包括：判断模块，用于根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；合并模块，用于若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；提交模块，用于根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。从以上技术方案可以看出，本专利技术实施例具有以下优点：在本专利技术实施例中，首先根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，对于第一写请求和第二写请求存在相同的写操作类型的情况，可以将第一写请求和第二写请求合并为一个批量写请求，最后根据批量写请求将第一结构化数据和第二结构化数据存储到数据存储层中。在本专利技术的实施例中写操作队列中的多个写请求不需要排队依次处理，多个待写入的结构化数据具有相同的写操作类型时可以对多个写请求合并为一个批量写请求，从而通过一次处理就可以将多个结构化数据写入到数据存储层中，降低了排队时延和处理延迟，提高结构化数据的处理效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种结构化数据的处理方法的流程方框示意图；图2为本专利技术实施例提供的结构化数据的处理方法的一种数据处理场景示意图；图3为本专利技术实施例提供的索引结构信息的组成内容示意图；图4为本专利技术实施例提供的分布式处理系统的一种应用场景示意图；图5-a为本专利技术实施例提供的分布式处理系统的一种组成结构示意图；图5-b为本专利技术实施例提供的分布式处理系统中提交模块的一种组成结构示意图；图5-c为本专利技术实施例提供的分布式处理系统的另一种组成结构示意图；图5-d为本专利技术实施例提供的分布式处理系统的另一种组成结构示意图；图5-e为本专利技术实施例提供的分布式处理系统中队列存储模块的一种组成结构示意图；图5-f为本专利技术实施例提供的分布式处理系统的另一种组成结构示意图；图6为本专利技术实施例提供的分布式处理系统应用于服务器的组成结构示意图。具体实施方式本专利技术实施例提供了一种结构化数据的处理方法和分布式处理系统，用于提高写请求的处理效率，降低写操作队列的排队时延。为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。以下分别进行详细说明。本专利技术结构化数据的处理方法的一个实施例，具体可以应用于对结构化数据的批量处理中，提高数据处理效率。本专利技术实施例中，结构化数据是指包括特定的字段，可以用二维表结构来逻辑表达实现的数据，举例说明，在社交账号上发表的一条说说就是一个结构化数据，可以包括有发表标识(Identifier，ID)、时间、标题、正文等字段。请参阅图1所示，本专利技术一个实施例提供的结构化数据的处理方法，可以包括如下步骤：101、根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，第一写请求包括：待写入的第一结构化数据和对应的写操作类型，第二写请求包括：待写入的第二结构化数据和对应的写操作类型。在本专利技术的实施例中，分布式处理系统中配置有针对写请求的合并提交策略，分布式处理系统根据该合并提交策略对写操作队列中存储的多个写请求进行分析判断，从而确定在写操作队列中是否存在具有相同写操作类型的至少两个写请求。合并提交策略可以包括多种实现方式，例如，可以定时的轮询读取写操作队列中的写请求，从而判断在一定时间段内同时加入或者分次加入到写操作队列中的多个写请求是否能够进行批量处理。该合并提交策略可以由分布式处理系统的操作用户来确定，通过用户配置的方式配置到分布式处理系统中，也可以由分布式处理系统根据写操作队列的队列存储情况来确定，例如可以根据写操作队列中加入的写请求的个数占写操作队列的容量比例来确定是否执行本专利技术实施例中的合并提交策略。本专利技术实施例后续实施例中以写操作队列中存储了第一写请求和第二写请求为例进行说明批量处理的实现方式，不限定的是，在实际的写操作队列中还可以加入更多的写请求。其中，第一写请求和第二写请求可以是来自同一个客户端，也可以是来自两个客户端，即分布式处理系统的写操作队列中的写请求可以按用户的写频率计算次数的，例如个人电脑和手机用同一用户名发帖子，则个人电脑和手机作为不同的客户端分别向分布式处理系统提交多个写请求本文档来自技高网...

【技术保护点】
1.一种结构化数据的处理方法，其特征在于，包括：根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。

【技术特征摘要】
1.一种结构化数据的处理方法，其特征在于，包括：根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型，所述第一写请求包括：待写入的第一结构化数据和对应的写操作类型，所述第二写请求包括：待写入的第二结构化数据和对应的写操作类型；若所述第一写请求和所述第二写请求存在相同的写操作类型，将所述第一写请求和所述第二写请求合并为一个批量写请求，所述批量写请求包括：所述第一结构化数据和所述第二结构化数据；根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中。2.根据权利要求1所述的方法，其特征在于，所述将所述第一写请求和所述第二写请求合并为一个批量写请求，包括：从所述第一写请求中提取出所述第一结构化数据，以及从所述第二写请求中提取出所述第二结构化数据；根据所述第一结构化数据和所述第二结构化数据生成批量写请求；将所述批量写请求加入到所述写操作队列中，以及删除所述写操作队列中的所述第一写请求和所述第二写请求。3.根据权利要求1所述的方法，其特征在于，所述根据所述批量写请求将所述第一结构化数据和所述第二结构化数据存储到数据存储层中之后，所述方法还包括：获取所述批量写请求对应的批量执行结果；从所述批量执行结果中分别获取到所述第一结构化数据的存储结果、所述第二结构化数据的存储结果；向发送所述第一写请求的客户端回复所述第一结构化数据的存储结果，以及向发送所述第二写请求的客户端回复所述第二结构化数据的存储结果。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型之前，所述方法还包括：接收客户端发送的所述第一写请求；将所述第一写请求加入到写操作队列中，并触发执行如下步骤：根据合并提交策略判断写操作队列中存储的第一写请求和第二写请求是否存在相同的写操作类型。5.根据权利要求4所述的方法，其特征在于，所述将所述第一写请求加入到写操作队列中，包括：从所述第一写请求中获取第一结构化数据以及所述第一结构化数据对应的写操作类型、业务标识、列表标识ListKey和行标识SubKey；将所述第一结构化数据以及所述第一结构化数据对应的写操作类型、对应的业务标识、ListKey和SubKey存储到所述写操作队列中的第一索引结构信息中。6.根据权利要求5所述的方法，其特征在于，所述将所述第一写请求和所述第二写请求合并为一个批量写请求之后，所述方法还包括：建立所述第一结构化数据对应的SubKey与第一链路文件描述符的第一映射关系以及所述第二结构化数据对应的SubKey与第二链路文件描述符的第二映射关系；根据所述第一映射关系和所述第二映射关系生成回包表，并将所述回包表存储到所述批量写请求中。7.一种分布式处理系统，其特征在于，包括：判断模块，用于根据合并提交策略判断写操作...

【专利技术属性】
技术研发人员：李童星，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44