一种数据处理方法、装置、系统、设备及介质制造方法及图纸

本公开实施例涉及一种数据处理方法、装置、系统、设备及介质，涉及云计算领域。其中该数据处理系统包括计算节点集群和存储引擎，计算节点集群和存储引擎通信连接，计算节点集群中包括至少两个计算节点，存储引擎包括存储节点集群，计算节点用于执行：接收数据处理请求；将数据处理请求发送至存储引擎；接收存储引擎返回的初始数据处理结果，并对初始数据处理结果进行计算得到目标数据处理结果。采用上述技术方案，由于所有的计算节点共用一个存储引擎，不需要计算节点之间的数据同步，计算节点和存储节点分离，提高了集群的可扩展性；计算节点和存储引擎进行数据处理的过程是分离的，提高了数据处理的效率，减少了磁盘读写量。

【技术实现步骤摘要】
一种数据处理方法、装置、系统、设备及介质
本公开涉及数据库
，尤其涉及一种数据处理方法、装置、系统、设备及介质。
技术介绍
为了防止数据丢失，数据库中可以采用主从架构的多副本集提供数据和服务的冗余备份，进一步还可以采用分片集群的方式存储更多数据。但是，上述多副本集或分片集群的架构，节点之间需要进行数据同步，磁盘读写量较大，影响数据处理效率，并且计算和存储在相同的节点上，扩展灵活性低。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据处理方法、装置、系统、设备及介质。本公开实施例提供了一种数据处理系统，所述数据处理系统包括计算节点集群和存储引擎，所述计算节点集群和所述存储引擎通信连接，所述计算节点集群中包括至少两个计算节点，所述存储引擎包括存储节点集群，所述计算节点用于执行：接收数据处理请求；将所述数据处理请求发送至存储引擎；接收所述存储引擎返回的初始数据处理结果，并对所述初始数据处理结果进行计算得到目标数据处理结果。本公开实施例还提供了一种数据处理方法，所述方法应用于计算节点，包括：接收数据处理请求；将所述数据处理请求发送至存储引擎；其中，至少两个所述计算节点组成计算节点集群，所述存储引擎包括存储节点集群；接收所述存储引擎返回的初始数据处理结果，并对所述初始数据处理结果进行计算得到目标数据处理结果。本公开实施例还提供了一种数据处理装置，所述装置计算节点，包括：请求接收模块，用于接收数据处理请求；请求发送模块，用于将所述数据处理请求发送至存储引擎；其中，至少两个所述计算节点组成计算节点集群，所述存储引擎包括存储节点集群；数据处理模块，用于接收所述存储引擎返回的初始数据处理结果，并对所述初始数据处理结果进行计算得到目标数据处理结果。本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的数据处理方法。本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的数据处理方法。本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的数据处理系统，包括计算节点集群和存储引擎，计算节点集群和存储引擎通信连接，计算节点集群中包括至少两个计算节点，存储引擎包括存储节点集群，计算节点用于执行：接收数据处理请求；将数据处理请求发送至存储引擎；接收存储引擎返回的初始数据处理结果，并对初始数据处理结果进行计算得到目标数据处理结果。计算节点为集群设置，由于所有的计算节点共用一个存储引擎，不需要计算节点之间的数据同步，计算节点和存储节点分离，可以更加有效的使用不同规格的主机来部署各节点，提高了集群的可扩展性，弹性增加和减少计算节点、存储节点都更加方便，更换存储引擎更加灵活；计算节点可以接收数据处理请求，将数据处理请求发送至存储引擎，接收存储引擎返回的初始数据处理结果，并对初始数据处理结果进行计算得到目标数据处理结果。计算节点和存储引擎进行数据处理的过程是分离的，计算节点之间不再需要进行数据同步，提高了数据处理的效率，减少了磁盘读写量。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例提供的一种数据处理系统的结构示意图；图2为本公开实施例提供的一种存储引擎的结构示意图；图3为本公开实施例提供的一种数据处理方法的流程示意图；图4为本公开实施例提供的一种数据处理装置的结构示意图；图5为本公开实施例提供的一种电子设备的结构示意图。具体实施方式为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。现有技术中，数据库可以采用多节点副本集的高可用架构，是由一个主(Primary)节点和多个从(Secondary)节点构建的集群，在主节点故障时，从节点可以升级为主节点，保证集群的高可用。进一步的，数据库还可以通过将数据分散存储到多个分片(Shard)上来实现高可扩展性，分片集群可以由以下几个组件组成：分片(Shard)，每个分片包含了分片数据的一个子集，每个分片是一个副本集；路由组件，是查询路由的角色，提供着客户端应用和分片集群的接口；配置中心，存储集群的元数据和配置文件，它本身也是一个副本集。数据可以按照指定的分片策略打散到不同的分片上，并且将配置信息存储到配置中心中，分片策略主要有哈希(Hash)分片和范围(Range)分片。相对于副本集，分片集群可以存储更多的数据，提供更大的访问能力，而且可以弹性伸缩。上述副本集提供了数据和服务的冗余备份，通过一致性协议保证数据一致性和高可用；分片集群在副本集的基础上又增加了可扩展功能，可以通过增加路由组件、分片的个数来扩展集群，使得数据库系统能存储和处理更多的数据。但是，无论是副本集还是分片集群，其计算和存储均是一体的，副本集是计算和存储在相同的节点上，分片集群是对等无共享(Share-Nothing)的集群结构，在弹性扩展时无法准确的计算或存储的某一种资源，不够灵活，并且数据处理的效率较低。为了解决上述问题，本公开实施例中提供了一种数据处理系统。图1为本公开实施例提供的一种数据处理系统的结构示意图，该数据处理系统10包括计算节点集群11和存储引擎12，计算节点集群11和存储引擎12通信连接，计算节点集群11中包括至少两个计算节点，存储引擎12包括存储节点集群121，计算节点用于执行：接收数据处理请求，将数据处理请求发送至存储引擎12，接收存储引擎12返回的初始数据处理结果，并对初始数据处理结果进行计算得到目标数据处理结果。如图1所示，应用程序20可以发送数据处理请求给计算节点集群11，计算节点集群11中的每一个计算节点均可以接收应用程序20发送的数据处理请求，计算节点主要负责数据处理，不负责存储大量的数据，因此需要部署在CPU和内存密集型的硬件上。计算节点集群11中包括的计算节点的数量可以根据实际情况进行调整，例如当请求量增大时，可以增加计算节点，以提高计算能力。可选的，应用程序20和计算节点集群11之间可以设置一个负载均衡器30，可以将应用程序20的请求分散到一个计算节本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，包括计算节点集群和存储引擎，所述计算节点集群和所述存储引擎通信连接，所述计算节点集群中包括至少两个计算节点，所述存储引擎包括存储节点集群，所述计算节点用于执行：接收数据处理请求；将所述数据处理请求发送至存储引擎；接收所述存储引擎返回的初始数据处理结果，并对所述初始数据处理结果进行计算得到目标数据处理结果。/n

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括计算节点集群和存储引擎，所述计算节点集群和所述存储引擎通信连接，所述计算节点集群中包括至少两个计算节点，所述存储引擎包括存储节点集群，所述计算节点用于执行：接收数据处理请求；将所述数据处理请求发送至存储引擎；接收所述存储引擎返回的初始数据处理结果，并对所述初始数据处理结果进行计算得到目标数据处理结果。


2.根据权利要求1所述的数据处理系统，其特征在于，所述存储节点集群中包括至少两个存储节点组，每个所述存储节点组中包括至少两个存储节点，每个所述存储节点组中各存储节点之间通过一致性协议同步数据。


3.根据权利要求2所述的数据处理系统，其特征在于，所述存储引擎还包括管理节点集群，所述管理节点集群与所述计算节点集群、所述存储节点集群通信连接，所述管理节点集群中包括至少两个管理节点，所述管理节点用于将路由信息发送至所述计算节点，以使所述计算节点基于所述数据处理请求中的路由查询信息和所述路由信息，确定所述路由查询信息对应的存储节点信息。


4.根据权利要求2所述的数据处理系统，其特征在于，所述计算节点和所述存储节点均支持增加或删除。


5.根据权利要求1所述的数据处理系统，其特征在于，所述存储引擎为MongoDB存储引擎或RocksDB存储引擎。


6.一种数据处理方法，其特征在于，应用于计算节点，包括：
接收数据处理请求；
将所述数据处理请求发送至存储引...

【专利技术属性】
技术研发人员：宫伯钊，李晓静，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11