一种数据的处理方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种数据的处理方法、装置及电子设备，所述方法应用于目标数据处理节点，所述方法包括：在接收到分布式协调服务器发送的数据处理节点的节点变化信息的情况下，基于所述节点变化信息，对待处理的目标数据进行分片处理，得到第一分片结果，所述第一数据处理节点与所述目标数据处理节点不同，接收所述第一数据处理节点发送的第二分片结果，所述第二分片结果为所述第一数据处理节点基于所述节点变化信息，对所述目标数据进行分片处理的结果，在所述第一分片结果与所述第二分片结果相匹配的情况下，对所述第一数据进行处理。通过本方法，可以避免对目标数据的重复处理或遗漏处理，提高数据处理的效率。提高数据处理的效率。提高数据处理的效率。

【技术实现步骤摘要】
一种数据的处理方法、装置及电子设备


[0001]本专利技术涉及计算机
，尤其涉及一种数据的处理方法、装置及电子设备。

技术介绍

[0002]随着移动通信技术的不断发展，移动通信业务量日益剧增，为保证业务处理的效率，运营商通常采用异步调度机制来进行业务的处理，即通过分布式协调服务器对待处理的数据进行分配调度。
[0003]目前，在通过分布式协调服务器进行分配调度时，可以采用热备份机制，保证数据处理的持续性。例如，可以基于分布式协调服务器，将待处理的业务数据，发送至多个主设备进行处理，同时，针对每一个主设备，还可以有一个备份设备，在主设备发生故障时，分布式协调服务器可以启动备份设备替代主设备进行数据的处理。
[0004]但是，通过上述热备份机制对业务数据进行处理时，存在以下问题：由于每一个主设备都需要配置一个备份设备，所以存在较大的资源浪费问题，其次，如果主设备与分布式协调服务器之间信号发生断连，分布式协调服务器可以启动备份设备继续对数据进行处理，但是主设备此时可能并未发生故障，仍在继续对数据进行处理，所以采用热备份机制对业务数据进行处理时，存在数据重复处理的风险高、数据处理效率低的问题。

技术实现思路

[0005]本专利技术实施例的目的是提供一种数据的处理方法、装置及电子设备，以解决现有技术中采用热备份机制对业务数据进行处理时，存在数据重复处理的风险高，数据处理效率低的问题。
[0006]为解决上述技术问题，本专利技术实施例是这样实现的：
[0007]第一方面，本专利技术实施例提供的一种数据的处理方法，所述方法应用于目标数据处理节点，所述方法包括：
[0008]在接收到分布式协调服务器发送的数据处理节点的节点变化信息的情况下，基于所述节点变化信息，对待处理的目标数据进行分片处理，得到第一分片结果，所述第一分片结果包括本地待处理的第一数据，以及第一数据处理节点待处理的第二数据，所述第一数据处理节点与所述目标数据处理节点不同；
[0009]接收所述第一数据处理节点发送的第二分片结果，所述第二分片结果为所述第一数据处理节点基于所述节点变化信息，对所述目标数据进行分片处理的结果，所述第二分片结果包括所述第一数据处理节点待处理的第三数据，以及所述目标数据处理节点待处理的第四数据；
[0010]在所述第一分片结果与所述第二分片结果相匹配的情况下，对所述第一数据进行处理。
[0011]可选地，所述基于所述节点变化信息，对待处理的目标数据进行分片处理，得到第一分片结果，包括：
[0012]基于所述节点变化信息，确定当前用于处理所述目标数据的第二数据处理节点；
[0013]将所述第二数据处理节点中，除所述目标数据处理节点外的数据处理节点，确定为所述第一数据处理节点；
[0014]确定所述目标数据处理节点在所述第二数据处理节点中的第一位置信息，以及所述第一数据处理节点在所述第二数据处理节点中的第二位置信息；
[0015]基于所述第一位置信息，以及所述第二位置信息，对所述待处理的目标数据进行分片处理，得到所述第一分片结果。
[0016]可选地，所述在所述第一分片结果与所述第二分片结果相匹配的情况下，对所述第一数据进行处理，包括：
[0017]接收所述第一数据处理节点发送的第三位置信息，所述第三位置信息为所述第一数据处理节点基于所述节点变化信息，确定的所述第一数据处理节点在所述第二数据处理节点中的位置信息；
[0018]在所述第二位置信息与所述第三位置信息相匹配，且所述第一分片结果与所述第二分片结果相匹配的情况下，对所述第一数据进行处理。
[0019]可选地，所述确定所述目标数据处理节点在所述第二数据处理节点中的第一位置信息，以及所述第一数据处理节点在所述第二数据处理节点中的第二位置信息，包括：
[0020]获取每个所述第二数据处理节点的自增值，所述自增值由数据处理节点的启动时间确定；
[0021]基于所述目标数据处理节点的自增值以及其他所述第二数据处理节点的自增值，确定所述目标数据处理节点在所述第二数据处理节点中的第一位置信息；
[0022]基于所述第一数据处理节点的自增值以及其他所述第二数据处理节点的自增值，确定所述第一数据处理节点在所述第二数据处理节点中的第二位置信息。
[0023]可选地，所述基于所述目标数据处理节点的第一位置信息，以及所述第一数据处理节点的第二位置信息，对待处理的目标数据进行分片处理，得到所述第一分片结果，包括：
[0024]基于所述第二数据处理节点的数量，对所述待处理的目标数据的数量进行取模处理；
[0025]基于所述取模处理的结果、所述目标数据处理节点的第一位置信息，以及所述第一处数据处理节点的第二位置信息，对所述待处理的目标数据进行分片处理，得到所述第一分片结果。
[0026]可选地，所述第一数据处理节点的数量小于预设节点数量阈值。
[0027]可选地，所述目标数据处理节点和所述第一数据处理节点为数据处理量小于预设数据处理量阈值的数据处理节点。
[0028]第二方面，本专利技术实施例提供了一种数据的处理装置，所述装置包括：
[0029]分片模块，用于在接收到分布式协调服务器发送的数据处理节点的节点变化信息的情况下，基于所述节点变化信息，对待处理的目标数据进行分片处理，得到第一分片结果，所述第一分片结果包括本地待处理的第一数据，以及第一数据处理节点待处理的第二数据，所述第一数据处理节点与所述目标数据处理节点不同；
[0030]接收模块，用于接收所述第一数据处理节点发送的第二分片结果，所述第二分片
结果为所述第一数据处理节点基于所述节点变化信息，对所述目标数据进行分片处理的结果，所述第二分片结果包括所述第一数据处理节点待处理的第三数据，以及所述目标数据处理节点待处理的第四数据；
[0031]处理模块，用于在所述第一分片结果与所述第二分片结果相匹配的情况下，对所述第一数据进行处理。
[0032]可选地，所述分片模块，包括：
[0033]第一确定单元，用于基于所述节点变化信息，确定当前用于处理所述目标数据的第二数据处理节点；
[0034]第二确定单元，用于将所述第二数据处理节点中，除所述目标数据处理节点外的数据处理节点，确定为所述第一数据处理节点；
[0035]第三确定单元，用于确定所述目标数据处理节点在所述第二数据处理节点中的第一位置信息，以及所述第一数据处理节点在所述第二数据处理节点中的第二位置信息；
[0036]分片单元，用于基于所述第一位置信息，以及所述第二位置信息，对所述待处理的目标数据进行分片处理，得到所述第一分片结果。
[0037]可选地，所述处理模块，包括：
[0038]位置接收单元，用于接收所述第一数据处理节点发送的第三位置信息，所述第三位置信息为所述第一数据处理节点基于所述节点变化信息，确定的所述第一数据处理节点在所述第二数据处理节点中的位置信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的处理方法，其特征在于，所述方法应用于目标数据处理节点，所述方法包括：在接收到分布式协调服务器发送的数据处理节点的节点变化信息的情况下，基于所述节点变化信息，对待处理的目标数据进行分片处理，得到第一分片结果，所述第一分片结果包括本地待处理的第一数据，以及第一数据处理节点待处理的第二数据，所述第一数据处理节点与所述目标数据处理节点不同；接收所述第一数据处理节点发送的第二分片结果，所述第二分片结果为所述第一数据处理节点基于所述节点变化信息，对所述目标数据进行分片处理的结果，所述第二分片结果包括所述第一数据处理节点待处理的第三数据，以及所述目标数据处理节点待处理的第四数据；在所述第一分片结果与所述第二分片结果相匹配的情况下，对所述第一数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述基于所述节点变化信息，对待处理的目标数据进行分片处理，得到第一分片结果，包括：基于所述节点变化信息，确定当前用于处理所述目标数据的第二数据处理节点；将所述第二数据处理节点中，除所述目标数据处理节点外的数据处理节点，确定为所述第一数据处理节点；确定所述目标数据处理节点在所述第二数据处理节点中的第一位置信息，以及所述第一数据处理节点在所述第二数据处理节点中的第二位置信息；基于所述第一位置信息，以及所述第二位置信息，对所述待处理的目标数据进行分片处理，得到所述第一分片结果。3.根据权利要求2所述的方法，其特征在于，所述在所述第一分片结果与所述第二分片结果相匹配的情况下，对所述第一数据进行处理，包括：接收所述第一数据处理节点发送的第三位置信息，所述第三位置信息为所述第一数据处理节点基于所述节点变化信息，确定的所述第一数据处理节点在所述第二数据处理节点中的位置信息；在所述第二位置信息与所述第三位置信息相匹配，且所述第一分片结果与所述第二分片结果相匹配的情况下，对所述第一数据进行处理。4.根据权利要求2所述的方法，其特征在于，所述确定所述目标数据处理节点在所述第二数据处理节点中的第一位置信息，以及所述第一数据处理节点在所述第二数据处理节点中的第二位置信息，包括：获取每个所述第二数据处理节点的自增值，所述自增值由数据处理节点的启动时间确定；基于所述目标数据处理节点的自增值以及其他所述第二数据处理节点的自增值，...

【专利技术属性】
技术研发人员：宋迎春，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：