数据处理系统、方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例涉及一种数据处理系统、方法、装置、电子设备和存储介质，其中，该数据处理系统包括：数据源设备和分布式集群；其中，分布式集群中包括至少两个节点；数据源设备，用于基于预设数据分片分发策略，将数据分片发送至分布式集群中与数据分片对应的第一节点；第一节点，用于在接收到数据分片后，对数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。本公开实施例减少了短时间内传输至业务处理设备的数据量，即针对数据高并发的业务场景，分布式集群实现了对数据源设备和业务处理设备之间全量数据传输的削峰作用，减少了对业务处理设备的资源占用，进而提升了业务处理设备中的业务处理性能。

【技术实现步骤摘要】
数据处理系统、方法、装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种数据处理系统、方法、装置、电子设备和存储介质。
技术介绍
目前，在互联网业务开发中，经常存在数据源端和业务端之间需要实时传输大量数据的场景。例如，针对任一应用程序，用户的登录日志和用户的行为数据等，数据量级通常在每秒钟万级别甚至更高。如果业务端在短时间内接收的数据量过大，必然会占用业务端的大量软硬件资源，甚至影响业务端的正常业务处理进程，导致服务异常。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种数据处理系统、方法、装置、电子设备和存储介质。第一方面，本公开实施例提供了一种数据处理系统，包括：数据源设备和分布式集群；其中，所述分布式集群中包括至少两个节点；所述数据源设备，用于基于预设数据分片分发策略，将数据分片发送至所述分布式集群中与所述数据分片对应的第一节点；所述第一节点，用于在接收到所述数据分片后，对所述数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。第二方面，本公开实施例还提供了一种数据处理方法，应用于分布式集群中的节点，所述方法包括：接收数据源设备发送的数据分片；其中，所述数据分片由所述数据源设备基于预设数据分片分发策略发送；对所述数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。第三方面，本公开实施例还提供了一种数据处理方法，应用于数据源设备，所述方法包括：r>对源数据进行分片处理，得到数据分片；基于预设数据分片分发策略，将数据分片发送至分布式集群中与所述数据分片对应的第一节点；其中，所述第一节点用于在接收到所述数据分片后，对所述数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。第四方面，本公开实施例还提供了一种数据处理装置，配置于分布式集群中的节点，所述装置包括：数据接收模块，用于接收数据源设备发送的数据分片；其中，所述数据分片由所述数据源设备基于预设数据分片分发策略发送；数据发送模块，用于对所述数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。第五方面，本公开实施例还提供了一种数据处理装置，配置于数据源设备，所述装置包括：分片处理模块，用于对源数据进行分片处理，得到数据分片；分片发送模块，用于基于预设数据分片分发策略，将所述数据分片发送至分布式集群中与所述数据分片对应的第一节点；其中，所述第一节点用于在接收到所述数据分片后，对所述数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。第六方面，本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如本公开实施例提供的任一数据处理方法。第七方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本公开实施例提供的任一数据处理方法。本公开实施例提供的技术方案与现有技术相比具有如下优点：通过在数据源设备和业务处理设备之间增设分布式集群，利用分布式集群对数据源设备中的数据分片进行预处理，预处理操作与业务需求有关，然后再由分布式集群将预处理之后数据分片发送至业务处理设备，考虑分布式集群中节点对数据分片的接收时间存在差异、节点对数据分片预处理的花费时间存在差异、节点与业务处理设备之间的数据传输速度也会存在差异，导致数据源设备中的大量数据分片经过分布式集群再传输至业务处理设备的时间存在差异，从而减少了短时间内传输至业务处理设备的数据量，即针对数据高并发的业务场景，分布式集群实现了对数据源设备和业务处理设备之间全量数据传输的削峰作用，解决了现有方案中业务处理设备由于短时间内接收全量数据导致资源消耗较大的问题，减少了对业务处理设备的资源占用，进而提升了业务处理设备中的业务处理性能，保证了正常的业务处理进程。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例提供的一种数据处理系统的结构示意图；图2为本公开实施例提供的另一种数据处理系统的结构示意图；图3为本公开实施例提供的一种基于数据处理系统的数据处理过程示意图；图4为本公开实施例提供的一种分布式集群管理方法的流程图；图5为本公开实施例提供的另一种数据处理系统的结构示意图；图6为本公开实施例提供的一种分布式集群的容灾处理过程示意图；图7为本公开实施例提供的一种数据处理方法的流程图；图8为本公开实施例提供的一种数据处理装置的结构示意图；图9为本公开实施例提供的另一种数据处理方法的流程图；图10为本公开实施例提供的另一种数据处理装置的结构示意图；图11为本公开实施例提供的一种电子设备的结构示意图。具体实施方式为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。图1为本公开实施例提供的一种数据处理系统的结构示意图，本公开实施例可以适用于在数据高并发场景下，将数据源设备中的数据合理传输至业务处理设备的情况，数据处理系统中包括的任意设备或装置可以采用软件和/或硬件实现。如图1所示，本公开实施例提供的数据处理系统可以包括数据源设备101和分布式集群102；其中，分布式集群102中包括至少两个节点；数据源设备101，用于基于预设数据分片分发策略，将数据分片发送至分布式集群102中与数据分片对应的第一节点；第一节点，用于在接收到数据分片后，对数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。业务处理设备用于基于接收的数据分片，确定业务处理结果，例如基于用户终端发送的数据访问请求，将与该数据访问请求对应的数据反馈给用户终端等。具体的，针对不同的业务处理场景，数据源设备101中可以实时产生与业务处理场景相关的源数据(或称为流式数据)，并按照预设数据分片策略对产生的源数据进行分片。预设数据分片策略可以包括但不限于：按照源数据的数据量大小进行数据分片，或者，按照源数据经过哈希计算(哈希计算可以采用任意可用的哈希算法实现)后得到的哈希值进行数据分片，或者，按照源数据中本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，包括：/n数据源设备和分布式集群；其中，所述分布式集群中包括至少两个节点；/n所述数据源设备，用于基于预设数据分片分发策略，将数据分片发送至所述分布式集群中与所述数据分片对应的第一节点；/n所述第一节点，用于在接收到所述数据分片后，对所述数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。/n

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：
数据源设备和分布式集群；其中，所述分布式集群中包括至少两个节点；
所述数据源设备，用于基于预设数据分片分发策略，将数据分片发送至所述分布式集群中与所述数据分片对应的第一节点；
所述第一节点，用于在接收到所述数据分片后，对所述数据分片进行预处理，并将预处理之后的数据分片发送至业务处理设备。


2.根据权利要求1所述的系统，其特征在于，所述第一节点还用于：
向所述数据源设备发送数据订阅请求；其中，所述数据订阅请求用于请求为所述第一节点建立与数据分片的对应关系。


3.根据权利要求1所述的系统，其特征在于，所述系统还包括管理设备，用于：
获取所述第一节点的运行信息，并且基于所述运行信息确定所述第一节点的运行状态；
如果确定所述第一节点为异常运行状态，则从所述分布式集群中为所述第一节点确定运行状态正常的第二节点，并将所述第一节点与所述第二节点的对应关系发送至所述数据源设备；
相应的，所述数据源设备，还用于基于所述第一节点与所述第二节点的对应关系，建立所述第一节点对应的目标数据分片与所述第二节点的对应关系，并删除所述第一节点与所述目标数据分片的对应关系。


4.根据权利要求3所述的系统，其特征在于，所述管理设备还用于：
在确定所述第一节点为异常运行状态之后，向所述分布式集群中除去所述第一节点外的剩余节点，发送所述第一节点的节点异常事件；
相应的，所述剩余节点，用于确定所述节点异常事件的接收时间，并在预设时间间隔之后，向所述管理设备发送接管请求；其中，所述预设时间间隔是以所述节点异常事件的接收时间作为时间起点；
所述管理设备，具体用于根据对所述接管请求的接收时间，从所述剩余节点中，为所述第一节点确定所述第二节点。


5.根据权利要求4所述的系统，其特征在于，所述剩余节点还用于：
在接收到所述节点异常事件之后，确定与本机节点存在对应关系的异常节点数量；
如果确定所述异常节点数量小于数量阈值，则在所述预设时间间隔之后，向所述管理设备发送所述接管请求。


6.根据权利要求1所述的系统，其特征在于，所述分布式集群中的节点具体用于：
通过调用消息中间件，将所述预处理之后的数据分片发送至所述业务处理设备。


7.根据权利要求1所述的系统，其特征在于，所述预处理至少包括以下之一：数据解析、数据组装...

【专利技术属性】
技术研发人员：吴海涛，王硕，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：北京;11