数据处理方法和装置、系统、电子设备、计算机可读介质制造方法及图纸

本公开提供了一种数据处理系统，涉及数据处理、云服务等技术领域。具体实现方案为：控制服务器基于预设的调度策略从第一拉取器中获取第二拉取器，从第一任务执行管理器获取第二任务执行管理器；控制第二拉取器和第二任务执行管理器执行操作；第二拉取器获取消息队列的待处理消息的数据；对待处理消息的数据进行序列化处理，得到待存储数据；将待存储数据存储到数据库中，得到已存储的第一数据；在数据库中增加第一数据的数据状态；第二任务执行管理器从数据库中获取第二数据，第二数据对应的数据状态为待处理状态，第一数据包括第二数据，执行第二数据对应的任务；并基于第二数据的任务执行结果，更新数据状态。该实施方式提高了数据处理的效率。数据处理的效率。数据处理的效率。

【技术实现步骤摘要】
数据处理方法和装置、系统、电子设备、计算机可读介质


[0001]本公开涉及计算机
，具体涉及数据处理、云服务等
，尤其涉及一种数据处理方法和装置、系统、电子设备、计算机可读介质以及计算机程序产品。

技术介绍

[0002]在对消息队列的数据进行处理时，需要拉取消息队列中消息数据进行处理，在拉取消息处理逻辑上，拉取和处理为一体化，即消息拉取和消息执行合并为一步，无法根据拉取或处理时所需的资源来进行独立的扩容，并且不同的消息间的处理逻辑融合在一起，代码冗杂，不利于管理。

技术实现思路

[0003]提供了一种数据处理方法和装置、系统、电子设备、计算机可读介质以及计算机程序产品。
[0004]根据第一方面，提供了一种数据处理系统，该系统包括：控制服务器、第一拉取器、第一任务执行管理器；控制服务器基于预设的调度策略从第一拉取器中获取第二拉取器，基于预设的调度策略从第一任务执行管理器获取第二任务执行管理器；控制第二拉取器和第二任务执行管理器执行操作；第二拉取器获取消息队列的待处理消息的数据；对待处理消息的数据进行序列化处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，所述系统包括：控制服务器、第一拉取器、第一任务执行管理器；所述控制服务器基于预设的调度策略从第一拉取器中获取第二拉取器，基于预设的调度策略从第一任务执行管理器获取第二任务执行管理器；控制所述第二拉取器和所述第二任务执行管理器执行操作；所述第二拉取器获取消息队列的待处理消息的数据；对所述待处理消息的数据进行序列化处理，得到待存储数据；将所述待存储数据存储到数据库中，得到已存储的第一数据；在所述数据库中增加所述第一数据的数据状态；所述第二任务执行管理器从所述数据库中获取第二数据，所述第二数据对应的数据状态为待处理状态，所述第一数据包括所述第二数据，执行所述第二数据对应的任务；并基于所述第二数据的任务执行结果，更新所述数据状态；其中，所述第二数据对应的数据状态为待处理状态，所述第一数据包括所述第二数据。2.根据权利要求1所述的系统，其中，所述第二任务执行管理器反序列化所述第二数据；向与所述任务执行管理器连接的执行器发送反序列完成的数据，并接收所述执行器反馈的任务执行结果。3.根据权利要求2所述的系统，其中，在所述待处理消息的数据为非关系型数据时，所述第二拉取器获取所述待处理消息的数据的类型；基于所述类型，在所述待存储数据中添加键值；所述第二任务执行管理器在反序列化所述第二数据之前，获取所述键值，并基于所述键值，获取所述待存储数据的类型，在反序列所述第二数据之后，向与所述第二任务执行管理器连接的执行器发送携带所述类型的反序列完成的数据。4.根据权利要求1所述的系统，其中，所述预设的调度策略包括：随机、轮询、分片广播中的任一项。5.一种数据处理方法，所述方法包括：从所述数据库中获取第二数据，所述第二数据对应的数据状态为待处理状态；执行所述第二数据对应的任务；基于所述第二数据的任务执行结果，更新所述数据状态。6.根据权利要求5所述的方法，其中，所述执行所述第二数据对应的任务，包括：反序列化所述第二数据；向执行器发送反序列完成的数据，并接收所述执行器反馈的任务执行结果。7.根据权利要求6所述的方法，所述方法还包括：获取所述第二数据中的键值；基于所述键值，获取待存储数据的类型；在反序列所述第二数据之后，向所述执行器发送携带所述类型的反序列完成的数据。8.一种数据处理方法，所述方法包括：获取消息队列的待处理消息的数据；响应于所述待处理消息的数据为非关系型数据，获...

【专利技术属性】
技术研发人员：高鹏，郭少卿，杨振生，郭威，邢鹏举，刘曾超前，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：