数据处理的方法、管理服务器、设备及存储介质技术

本申请公开了一种数据处理的方法、管理服务器、设备及存储介质，属于计算机技术领域。所述方法包括：接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述处理权限请求中携带有所述数据标识。通过本申请可以提升处理数据的效率。

【技术实现步骤摘要】
数据处理的方法、管理服务器、设备及存储介质
本申请涉及计算机
，特别涉及一种数据处理的方法、管理服务器、设备及存储介质。
技术介绍
随着计算机技术的发展，分布式存储系统逐渐被普及，技术人员经常将其用于存储应用程序的数据。分布式存储系统由一个管理服务器和一个集群组成，集群中包括多个主节点设备，主节点设备还可以连接有从节点设备，管理服务器与每个主节点设备连接。在使用上述分布式存储系统存储数据时，该分布式存储系统通过管理服务器接收终端发送的数据处理请求，该数据处理请求携带有待处理数据的数据标识。进而管理服务器根据数据标识，确定集群中存储待处理数据的目标主节点设备。进而向该目标主节点设备发送携带有数据标识处理权限获取请求，该目标主节点设备会根据处理权限获取请求获取数据标识对应的权限状态，该目标主节点设备中存储有数据标识与权限状态的对应关系。如果该权限状态为未占用状态，则向管理服务器发送权限获取成功通知。进而管理服务器向目标主节点设备，发送数据处理通知，目标主节点设备会进行相应的数据处理。在实现本申请的过程中，专利技术人发现现有技术至少存在以下问题：在主节点设备出现故障时，该主节点设备不能对数据进行处理，只有等待该主节点设备恢复正常后，或者该主节点设备进行主从切换后才可以对数据进行处理，上述两种处理都要耗费很多时间，进而影响了处理数据的效率。
技术实现思路
本申请实施例提供了一种数据处理的方法、管理服务器、设备及存储介质,能够解决处理数据的效率低的问题。所述技术方案如下：>一方面，提供了一种数据处理的方法，所述方法应用于管理服务器，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述方法包括：接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。可选的，所述如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，包括：当接收到的权限获取成功通知的数目超过所述多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知。可选的，所述方法还包括：获取待存储数据和所述待存储数据的数据标识；在每个集群中，分别确定用于存储所述待存储数据的主节点设备；将所述待存储数据的数据标识与所述用于存储所述待存储数据的主节点设备的设备标识对应存储；向每个集群中用于存储所述待存储数据的主节点设备，发送所述待存储数据和所述待存储数据的数据标识。可选的，所述在每个集群中，分别确定用于存储所述待存储数据的主节点设备，包括：在每个集群中，分别通过轮询的方式，确定用于存储所述待存储数据的主节点设备。可选的，所述在每个集群中，分别确定用于存储所述待存储数据的主节点设备，包括：对于每个集群，在所述集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储所述待存储数据的主节点设备。可选的，所述方法还包括：当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于所述数据标识，确定所述第二集群中存储所述已损坏数据的第二主节点设备；在所述第二主节点设备中获取所述已损坏数据对应的未损坏数据，将所述第一主节点设备中的所述已损坏数据替换为所述未损坏数据。可选的，所述分别向每个集群中的目标主节点设备，发送数据处理通知之后，所述方法还包括：如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向所述任一目标主节点设备获取所述数据标识对应的处理后的数据；当接收到所述第一主节点设备发送的恢复工作通知时，向所述第一主节点设备，发送所述处理后的数据，以使所述第一主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据；或者，当接收到第二主节点设备发送的恢复工作通知且所述第二主节点设备是所述第一主节点设备对应的更新的主节点设备时，向所述第二主节点设备，发送所述处理后的数据，以使所述第二主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据。另一方面，提供了一种管理服务器，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述管理服务器包括：接收模块，用于接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；确定模块，用于基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；请求模块，用于分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；通知模块，用于如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。可选的，所述通知模块，用于：当接收到的权限获取成功通知的数目超过所述多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知。可选的，所述管理服务器还包括发送模块，所述发送模块，用于：获取待存储数据和所述待存储数据的数据标识；在每个集群中，分别确定用于存储所述待存储数据的主节点设备；将所述待存储数据的数据标识与所述用于存储所述待存储数据的主节点设备的设备标识对应存储；向每个集群中用于存储所述待存储数据的主节点设备，发送所述待存储数据和所述待存储数据的数据标识。可选的，所述发送模块，用于：在每个集群中，分别通过轮询的方式，确定用于存储所述待存储数据的主节点设备。可选的，所述发送模块，用于：对于每个集群，在所述集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储所述待存储数据的主节点设备。可选的，述管理服务器还包括替换模块，所述替换模块，用于：当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于所述数据标识，确定所述第二集群中存储所述已损坏数据的第二主节点设备；在所述第二主节点设备中获取所述已损坏数据对应的未损坏数据，将所述第一主节点设备中的所述已损坏数据替换为所述未损坏数据。可选的，所述通知模块，还用于：如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向所述任一目标主节点设备获取所述数据标识对应的处理后的数据；当接收到所述第一主节点设备发送的恢复工作通知时本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，所述方法应用于管理服务器，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述方法包括：/n接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；/n基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；/n分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；/n如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。/n

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法应用于管理服务器，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述方法包括：
接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；
基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；
分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；
如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。


2.根据权利要求1所述的方法，其特征在于，所述如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，包括：
当接收到的权限获取成功通知的数目超过所述多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知。


3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取待存储数据和所述待存储数据的数据标识；
在每个集群中，分别确定用于存储所述待存储数据的主节点设备；
将所述待存储数据的数据标识与所述用于存储所述待存储数据的主节点设备的设备标识对应存储；
向每个集群中用于存储所述待存储数据的主节点设备，发送所述待存储数据和所述待存储数据的数据标识。


4.根据权利要求3所述的方法，其特征在于，所述在每个集群中，分别确定用于存储所述待存储数据的主节点设备，包括：
在每个集群中，分别通过轮询的方式，确定用于存储所述待存储数据的主节点设备。


5.根据权利要求3所述的方法，其特征在于，所述在每个集群中，分别确定用于存储所述待存储数据的主节点设备，包括：
对于每个集群，在所述集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储所述待存储数据的主节点设备。


6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于所述数据标识，确定所述第二集群中存储所述已损坏数据的第二主节点设备；
在所述第二主节点设备中获取所述已损坏数据对应的未损坏数据，将所述第一主节点设备中的所述已损坏数据替换为所述未损坏数据。


7.根据权利要求1所述的方法，所述分别向每个集群中的目标主节点设备，发送数据处理通知之后，所述方法还包括：
如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向所述任一目标主节点设备获取所述数据标识对应的处理后的数据；
当接收到所述第一主节点设备发送的恢复工作通知时，向所述第一主节点设备，发送所述处理后的数据，以使所述第一主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据；或者，当接收到第二主节点设备发送的恢复工作通知且所述第二主节点设备是所述第一主节点设备对应的更新的主节点设备时，向所述第二主节点设备，发送所述处理后的数据，以使所述第二主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据。


8.一种管理服务器，其特征在于，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述管理服务器包括：
接收模块，用于接收终端发送...

【专利技术属性】
技术研发人员：周林军，
申请(专利权)人：广州酷狗计算机科技有限公司，
类型：发明
国别省市：广东;44