一种数据处理系统、方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种数据处理系统、方法、装置、电子设备及存储介质，涉及数据处理领域，尤其涉及互联网技术领域。数据处理系统，包括：回灌服务和异步进行数据处理的多个处理服务；各处理服务，用于对获得的服务输入进行处理，若处理成功，在自身状态列表中记录数据状态，并在处理服务不为尾处理服务的情况下将处理结果写入下游处理服务的任务队列，首处理服务的服务输入为待处理数据，其它处理服务的服务输入为自身任务队列中的数据；回灌服务，用于若根据各状态列表中的数据状态确定待处理数据存在处理异常，控制从确定的回灌处理服务开始重新针对待处理数据进行处理。应用本公开实施例提供的方案可以提高数据处理的整体效率。例提供的方案可以提高数据处理的整体效率。例提供的方案可以提高数据处理的整体效率。

【技术实现步骤摘要】
一种数据处理系统、方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理
，尤其涉及互联网


技术介绍

[0002]在对数据进行处理时，可能需要经历多个数据处理阶段，为保证成功完成对数据的处理，上述数据需要经过各个数据处理阶段，也就是，保证数据处理过程中各个数据处理阶段的数据一致性。
[0003]鉴于此，当前每一数据处理阶段的处理过程被绑定为原子操作，这样能够有效保证数据在一个数据处理阶段完成处理后，才进去下一数据处理阶段进行数据处理，且所有数据处理阶段均完成针对该数据的处理后，才开始对下一数据进行处理。

技术实现思路

[0004]本公开提供了一种数据处理系统、方法、装置、电子设备及存储介质。
[0005]根据本公开的一方面，提供了一种数据处理系统，包括：回灌服务和多个处理服务，各处理服务基于异步方式进行数据处理；其中，
[0006]各处理服务，用于获得服务输入，对所述服务输入进行处理，若处理成功，在自身状态列表中记录数据状态，并在处理服务不为尾处理服务的情况下将处理结果写入下游处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，包括：回灌服务和多个处理服务，各处理服务基于异步方式进行数据处理；其中，各处理服务，用于获得服务输入，对所述服务输入进行处理，若处理成功，在自身状态列表中记录数据状态，并在处理服务不为尾处理服务的情况下将处理结果写入下游处理服务的任务队列，其中，针对首处理服务，所述服务输入为待处理数据，针对其它处理服务，所述服务输入为处理服务自身的任务队列中的数据；所述回灌服务，用于若根据各个处理服务的状态列表中记录的数据状态确定所述待处理数据存在处理异常，确定回灌处理服务，控制从所述回灌处理服务开始重新针对所述待处理数据进行处理。2.根据权利要求1所述的系统，其中，所述回灌服务，具体用于监测各个处理服务的状态列表记录数据状态的记录时长，若存在大于预设时长阈值的记录时长，则确定所述待处理数据存在处理异常。3.根据权利要求1所述的系统，其中，各处理服务，还用于在对所述服务输入处理失败的情况下，向所述回灌服务发送通知消息；所述回灌服务，还用于接收所述通知消息，并执行所述确定回灌处理服务的步骤。4.根据权利要求1所述的系统，其中，所述回灌服务，具体用于将存在处理异常的处理服务确定为回灌处理服务；或具体用于将首处理服务确定为回灌处理服务。5.根据权利要求4所述的系统，其中，存在处理异常的处理服务为：目标状态列表对应的处理服务，其中，所述目标状态列表为：记录有记录时长大于预设时长阈值的数据状态的列表；或存在处理异常的处理服务为：对所述服务输入处理失败的处理服务。6.根据权利要求1
‑
5中任一项所述的系统，其中，各处理服务，还用于在所述处理服务不为首处理服务的情况下，若对所述服务输入处理成功，从上游处理服务的状态列表中删除所述待处理数据对应的数据状态。7.一种数据处理方法，应用于数据处理系统中的处理服务，所述数据处理系统包括回灌服务和多个处理服务，各处理服务基于异步方式进行数据处理，所述方法包括：若所述处理服务为首处理服务，获得待处理数据作为服务输入；若所述处理服务为其它处理服务，获得所述处理服务自身的任务队列中的数据作为服务输入；对所述服务输入进行处理；若处理成功，在自身状态列表中记录数据状态，并在所述处理服务不为尾处理服务的情况下，将处理结果写入下游处理服务的任务队列，以使得所述回灌服务根据各个处理服务的状态列表中记录的数据状态进行数据回灌。8.根据权利要求7所述的方法，所述方法还包括：在对所述服务输入处理失败的情况下，向所述回灌服务发送通知消息，以使得所述回灌服务基于所述通知消息触发数据回灌。9.根据权利要求7或8所述的方法，所述方法还包括：
在所述处理服务不为首处理服务的情况下，若对所述服务输入处理成功，从上游处理服务的状态列表中删除所述待处理数据对应的数据状态。10.一种数据处理方法，应用于数据处理系统中的回灌服务，所述数据处理系统包括回灌服务和多个处理服务，各处理服务基于异步方式进行数据处理，所述方法包括：监控各个处理服务的状态列表中记录的数据状态，其中，所述数据状态为处理服务对服务输入处理成功后记录至自身的状态列表的状态；若监控结果表征所述待处理数据存在处理异常，确定回灌处理服务；控制从所述回灌处理服务开始重新针对所述待处理数据进行处理。11.根据权利要求10所述的方法，其中，所述监控各个处理服务的状态列表中记录的数据状态，包括：监测各个处理服务的状态列表记录数据状态的记录时长；所述若监控结果表征所述待处理数据存在处理异常，确定回灌处理服务，包括：若存在大于预设时长阈值的记录时长，则确定回灌处理服务。12.根据权利要求10所述的方法，所述方法还包括：接收对服务输入处理失败的处理服务发送的通知消息，并执行所述确定回灌处理服务的步骤。13.根据权利要求10
‑
12中任一项所述的方法，其中，所述确定回灌处理服务，包括：将存在处理异常的处理服务确定为回灌处理服务；或将首...

【专利技术属性】
技术研发人员：侯锁成，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：