一种数据处理方法、装置、系统、设备及存储介质制造方法及图纸

本公开关于一种数据处理方法、装置、系统、设备及存储介质，涉及互联网技术领域，可以解决服务实例宕机时，数据请求无法被响应的问题。该数据处理方法应用于目标设备；该数据处理方法包括：接收目标服务节点的第一请求消息；响应于第一请求消息，从目标消息队列中确定目标数据块；目标数据块包括待处理数据；向目标服务节点发送目标数据块，以使得目标服务节点对目标数据块中的待处理数据进行数据处理，以得到待处理数据的处理结果。以得到待处理数据的处理结果。以得到待处理数据的处理结果。

【技术实现步骤摘要】
一种数据处理方法、装置、系统、设备及存储介质


[0001]本公开涉及互联网
，尤其涉及一种数据处理方法、装置、系统、设备及存储介质。

技术介绍

[0002]随着云计算的兴起，系统通常需要将多个数据分配给多个服务节点，以实现同时并行处理很多数据请求。但是，当数据分配不均时，负载高的服务节点会存在数据积压的问题。
[0003]通用技术中，由于一致性哈希算法(consistent hashing)可以将数据请求使用哈希算法算出对应的哈希(hash)值，然后根据hash值的位置沿哈希环顺时针查找，将第一个匹配的服务节点确定为处理该数据请求中的数据的目标服务节点，一定程度上改善了数据分配不均导致的数据积压的问题。
[0004]但是，当某个服务实例宕机时，需要将哈希环上顺时针的下一跳服务实例的相关数据迁移到上一跳服务实例中，然后移除该服务实例，以维护系统的完整性。在此过程中，当该服务实例尚未移除时，数据请求仍可以被分配到该服务实例上，导致数据请求无法被响应。

技术实现思路

[0005]本公开提供一种数据处理方法、装置、系统、设备及存储介质，用于解决服务实例宕机时，数据请求无法被响应的问题。
[0006]本公开实施例的技术方案如下：
[0007]根据本公开实施例的第一方面，提供一种数据处理方法，应用于目标设备；数据处理方法包括：接收目标服务节点的第一请求消息；响应于第一请求消息，从目标消息队列中确定目标数据块；目标数据块包括待处理数据；向目标服务节点发送目标数据块，以使得目标服务节点对目标数据块中的待处理数据进行数据处理，以得到待处理数据的处理结果。
[0008]可选的，上述“响应于第一请求消息，从目标消息队列中确定目标数据块”的方法，包括：响应于第一请求消息，确定目标消息队列；基于第一预设规则，从目标消息队列中确定目标数据块；第一预设规则包括：将目标消息队列中的首个数据块确定为目标数据块。
[0009]可选的，上述“响应于第一请求消息，确定目标消息队列”的方法，包括：响应于第一请求消息，获取目标序列号；目标序列号为目标消息队列在预先建立的任务队列中的序列号；任务队列包括：至少一个消息队列的标识、每个消息队列的标识在任务队列中的序列号；至少一个消息队列包括目标消息队列；将目标序列号对应的消息队列的标识，确定为目标消息队列的标识，并将与目标消息队列的标识对应的消息队列，确定为目标消息队列。
[0010]可选的，第一请求消息包括：与目标服务节点进行数据处理的次数对应的目标系数；上述“响应于第一请求消息，获取目标序列号”的方法，包括：根据目标系数、任务队列中的队列数量和预设算法，得到目标序列号；队列数量为任务队列中至少一个消息队列的标
识的数量；预设算法包括取模运算。
[0011]可选的，第一请求消息包括：目标序列号；上述“响应于第一请求消息，获取目标序列号”的方法，包括：从第一请求消息中获取目标序列号。
[0012]可选的，上述“接收目标服务节点的第一请求消息”之前，该方法还包括：接收目标服务节点的第二请求消息；响应于目标服务节点的第二请求消息，向目标服务节点发送队列数量；队列数量为任务队列中至少一个消息队列的标识的数量；队列数量用于指示目标服务节点确定目标序列号。
[0013]可选的，该方法还包括：获取至少一个数据集合；每个数据集合包括至少一个初始数据；对每个数据集合中的至少一个初始数据执行第一操作，建立至少一个消息队列；第一操作包括：基于第二预设规则，将至少一个初始数据划分为至少一个数据块；基于第三预设规则对至少一个数据块排序，建立一个消息队列；第二预设规则包括：根据至少一个初始数据的数据标识进行划分；第三预设规则包括：根据至少一个数据块的推送时间进行排序；在初始队列中添加至少一个消息队列的标识，建立任务队列，并生成每个消息队列的标识和任务队列中的序列号的对应关系。
[0014]可选的，上述“向目标服务节点发送目标数据块”之后，该方法还包括：在目标消息队列中，删除目标数据块，并更新预先存储的目标消息队列中的数据块的数量。
[0015]可选的，该方法还包括：当目标消息队列中的数据块的数量为零时，或者，目标消息队列中的数据块的数量不为零、且在预设时间内目标消息队列中的数据块的数量未发生变化时，在预先建立的任务队列中删除目标消息队列。
[0016]根据本公开实施例的第二方面，提供一种数据处理方法，应用于目标服务节点；数据处理方法包括：向目标设备发送第一请求消息；接收目标设备响应于第一请求消息，发送的目标数据块；目标数据块包括待处理数据；对目标数据块中的待处理数据进行数据处理，以得到待处理数据的处理结果。
[0017]可选的，第一请求消息包括：与目标服务节点进行数据处理的次数对应的目标系数；目标系数用于指示目标设备确定目标序列号；目标序列号为目标数据块所在的目标消息队列在预先建立的任务队列中的序列号；任务队列包括：至少一个消息队列的标识、每个消息队列的标识在任务队列中的序列号；至少一个消息队列包括目标消息队列。
[0018]可选的，第一请求消息包括：目标序列号；目标序列号为目标数据块所在的目标消息队列在预先建立的任务队列中的序列号；任务队列包括：至少一个消息队列的标识、每个消息队列的标识在任务队列中的序列号；至少一个消息队列包括目标消息队列；上述“向目标设备发送第一请求消息”之前，该方法还包括：向目标设备发送第二请求消息；接收目标设备响应于第二请求消息，发送的任务队列中的队列数量；队列数量为任务队列中至少一个消息队列的标识的数量；根据与目标服务节点进行数据处理的次数对应的目标系数、队列数量和预设算法，得到目标序列号；预设算法包括取模运算。
[0019]根据本公开实施例的第三方面，提供一种数据处理装置，应用于目标设备；数据处理装置包括：通信单元和处理单元；通信单元，用于接收目标服务节点的第一请求消息；处理单元，用于响应于通信单元接收的第一请求消息，从目标消息队列中确定目标数据块；目标数据块包括待处理数据；通信单元，还用于向目标服务节点发送处理单元确定的目标数据块，以使得目标服务节点对目标数据块中的待处理数据进行数据处理，以得到待处理数
据的处理结果。
[0020]可选的，处理单元，具体用于响应于第一请求消息，确定目标消息队列；基于第一预设规则，从目标消息队列中确定目标数据块；第一预设规则包括：将目标消息队列中的首个数据块确定为目标数据块。
[0021]可选的，处理单元，具体用于响应于第一请求消息，获取目标序列号；目标序列号为目标消息队列在预先建立的任务队列中的序列号；任务队列包括：至少一个消息队列的标识、每个消息队列的标识在任务队列中的序列号；至少一个消息队列包括目标消息队列；将目标序列号对应的消息队列的标识，确定为目标消息队列的标识，并将与目标消息队列的标识对应的消息队列，确定为目标消息队列。
[0022]可选的，第一请求消息包括：与目标服务节点进行数据处理的次数对应的目标系数；处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于目标设备；所述数据处理方法包括：接收目标服务节点的第一请求消息；响应于所述第一请求消息，从目标消息队列中确定目标数据块；所述目标数据块包括待处理数据；向所述目标服务节点发送所述目标数据块，以使得所述目标服务节点对所述目标数据块中的所述待处理数据进行数据处理，以得到所述待处理数据的处理结果。2.根据权利要求1所述的数据处理方法，其特征在于，所述响应于所述第一请求消息，从目标消息队列中确定目标数据块，包括：响应于所述第一请求消息，确定所述目标消息队列；基于第一预设规则，从所述目标消息队列中确定所述目标数据块；所述第一预设规则包括：将所述目标消息队列中的首个数据块确定为所述目标数据块。3.根据权利要求2所述的数据处理方法，其特征在于，所述响应于所述第一请求消息，确定所述目标消息队列，包括：响应于所述第一请求消息，获取目标序列号；所述目标序列号为所述目标消息队列在预先建立的任务队列中的序列号；所述任务队列包括：至少一个消息队列的标识、每个消息队列的标识在所述任务队列中的序列号；所述至少一个消息队列包括所述目标消息队列；将所述目标序列号对应的消息队列的标识，确定为所述目标消息队列的标识，并将与所述目标消息队列的标识对应的消息队列，确定为所述目标消息队列。4.根据权利要求3所述的数据处理方法，其特征在于，所述第一请求消息包括：与所述目标服务节点进行数据处理的次数对应的目标系数；所述响应于所述第一请求消息，获取目标序列号，包括：根据所述目标系数、所述任务队列中的队列数量和预设算法，得到所述目标序列号；所述队列数量为所述任务队列中所述至少一个消息队列的标识的数量；所述预设算法包括取模运算。5.根据权利要求3所述的数据处理方法，其特征在于，所述第一请求消息包括：所述目标序列号；所述响应于所述第一请求消息，获取目标序列号，包括：从所述第一请求消息中获取所述目标序列号。6.根据权利要求5所述的数据处理方法，其特征在于，所述接收目标服务节点的第一请求消息之前，还包括：接收所述目标服务节点的第二请求消息；响应于所述目标服务节点的第二请求消息，向所述目标服务节点发送队列数量；所述队列数量为所述任务队列中所述至少一个消息队列的标识的数量；所述队列数量用于指示所述目标服务节点确定所述目标序列号。7.根据权利要求3所述的数据处理方法，其特征在于，还包括：获取至少一个数据集合；每个数据集合包括至少一个初始数据；对所述每个数据集合中的至少一个初始数据执行第一操作，建立所述至少一个消息队列；所述第一操作包括：基于第二预设规则，将所述至少一个初始数据划分为至少一个数据块；基于第三预设规则对所述至少一个数据块排序，建立一个消息队列；所述第二预设规则包括：根据所述至少一个初始数据的数据标识进行划分；所述第三预设规则包括：根据所述
...

【专利技术属性】
技术研发人员：王建飞，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：