一种数据处理方法及装置、资讯处理系统制造方法及图纸

本申请公开了一种数据处理方法及装置、资讯处理系统，所述数据处理方法，应用于集群，所述集群包括多个节点，包括：接收数据处理请求，所述数据处理请求中包括待处理的第一数据对象；将所述第一数据对象存储到所述集群的数据库中，生成任务消息，所述任务消息中携带有与所述第一数据对象相关联的任务标识；向所述集群中的多个节点发布所述任务消息，以便所述节点根据所述任务标识从所述数据库中提取所述第一数据对象进行处理。本文不仅实现了数据的异步处理，而且避免了新起线程池和线程队列的使用，降低了复杂度，提升了处理效率，也优化清晰了数据处理流程，且能够充分利用集群中的闲置节点资源，避免资源浪费。

Data processing method and device, information processing system

The invention discloses a data processing method and apparatus, information processing system, the data processing method used in the cluster, the cluster includes a plurality of nodes, including: receiving the data processing request, the data processing the first data object to be processed including request; the first data object stored in the the cluster database, the message generation task, task message carries associated with the first data object associated with the task task ID; issued a message to multiple nodes in the cluster, so that the node according to the task of identifying the first extracted data objects from the database processing. This paper not only implements asynchronous data processing, but also avoid the use of the new thread pool and thread queue, reduces the complexity, improve processing efficiency, but also optimize the clear data processing, and can make full use of idle resources of nodes in the cluster, avoid the waste of resources.

【技术实现步骤摘要】
一种数据处理方法及装置、资讯处理系统
本申请涉及网络
，尤指一种数据处理方法及装置、资讯处理系统。
技术介绍
网络中，资讯处理系统之间业务数据的实时交互传递一般采用异步交互方式。相关技术中，资讯处理系统与外部系统异步交互的过程是，当前节点的应用系统层接收业务请求，将请求处理的业务数据投入到当前节点上操作系统层已有的线程池或操作系统层新起的线程上，由操作系统层的线程池或新起的线程对业务数据进行处理，虽然实现了异步处理，但需要管理线程池的资源和运行调度，或对主线程外的新线程进行管理，系统复杂度高，处理效率低，且不能有效利用资讯处理系统中的其他节点资源，发生问题时还需要人工排查，系统维护成本也比较高。综上，在实现本申请的过程中，专利技术人发现，对于业务处理的异步交互中系统复杂度高、不能有效利用其他节点资源以及系统维护成本高的问题，目前还没有好的解决方案。
技术实现思路
为了解决上述技术问题，本申请提供了一种数据处理方法及装置、资讯处理系统。一方面，本申请提供了一种数据处理方法，应用于集群，所述集群包括多个节点，包括：接收数据处理请求，所述数据处理请求中包括待处理的第一数据对象；将所述第一数据对象存储到所述集群的数据库中，生成任务消息，所述任务消息中携带有与所述第一数据对象相关联的任务标识；向所述集群中的多个节点发布所述任务消息，以便所述节点根据所述任务标识从所述数据库中提取所述第一数据对象进行处理。其中，在将所述第一数据对象存储到所述集群的数据库中之前，还包括：为所述第一数据对象设置第一状态标识，所述第一状态标识用于标识所述第一数据对象为待处理的状态；在所述节点根据所述任务标识从所述数据库中提取所述第一数据对象之后，还包括：为所述第一数据对象设置第二状态标识，所述第二状态标识用于标识所述第一数据对象为处理中的状态。其中，在将所述第一数据对象存储到所述集群的数据库中，生成任务消息之后，还包括：发送第一响应消息给所述第一数据对象的请求方，所述第一响应消息用于指示所述第一数据对象已收到。其中，在接收所述数据处理请求之后，生成任务消息之前，还包括：验证所述数据库中是否已存储有所述数据处理请求中待处理的第一数据对象；如果是，则从所述数据库中查询所述第一数据对象相关联的任务标识，根据所述任务标识提取所述第一数据对象，为所述第一数据对象设置第二状态标识，所述第二状态标识用于标识所述第一数据对象为处理中的状态，并对所述第一数据对象进行处理；如果不是，则创建任务流水，将所述任务流水的任务标识与所述第一数据对象相关联后存储到所述集群的数据库中。另一方面，本申请还提供了一种数据处理方法，应用于集群，所述集群包括多个节点；包括：所述节点接收任务消息，所述任务消息携带有与待处理的第一数据对象相关联的任务标识；所述节点根据所述任务标识，从所述集群的数据库中提取所述第一数据对象并进行处理。其中，从数据库中提取所述第一数据对象之后，所述进行处理之前，还包括：所述节点为所述第一数据对象设置第二状态标识，所述第二状态标识用于标识所述第一数据对象为处理中的状态。其中，从所述集群的数据库中提取所述第一数据对象，包括：在确定所述第一数据对象被设置为第二状态标识时，从所述数据库中提取所述第一数据对象。其中，从数据库中提取所述第一数据对象并进行处理之后，还包括：所述节点为所述第一数据对象设置第四状态标识或第五状态标识，所述第四状态标识用于标识所述第一数据对象为处理失败的状态，所述第五状态标识用于标识所述第一数据对象为处理成功的状态。其中，从数据库中提取所述第一数据对象并进行处理之后，还包括：所述节点将处理完成的所述第一数据对象保存到所述集群的数据库中。其中，从数据库中提取所述第一数据对象并进行处理之后，还包括：所述节点将处理完成的所述第一数据对象保存到所述集群外的数据库中，以供展示时使用。其中，从数据库中提取所述第一数据对象并进行处理之后，还包括：发送第二响应消息给所述第一数据对象的请求方，所述第二响应消息用于指示所述第一数据对象已处理完成。一方面，本申请提供了一种数据处理装置，应用于集群，所述集群包括多个节点；包括：第一接收单元，用于接收数据处理请求，所述数据处理请求中包括待处理的第一数据对象；第一处理单元，用于将所述第一数据对象存储到所述集群的数据库中，生成任务消息，所述任务消息中携带有与所述第一数据对象相关联的任务标识；发布单元，用于向所述集群中的多个节点发布所述任务消息，以便所述节点根据所述任务标识从所述数据库中提取所述第一数据对象进行处理。其中，所述第一处理单元，还用于在将所述第一数据对象存储到所述集群的数据库中之前，为所述第一数据对象设置第一状态标识，所述第一状态标识用于标识所述第一数据对象为待处理的状态；以及，用于在根据所述任务标识从所述数据库中提取所述第一数据对象之后，为所述第一数据对象设置第二状态标识，所述第二状态标识用于标识所述第一数据对象为处理中的状态。其中，还包括：第一发送单元，用于发送第一响应消息给所述第一数据对象的请求方，所述第一响应消息用于指示所述第一数据对象已收到。另一方面，本申请还提供了一种数据处理装置，包括处理器和存储器；其特征在于，应用于集群，所述集群包括多个节点；所述存储器用于存储用于数据处理的程序；所述用于数据处理的程序在被所述处理器读取执行时，执行如下操作：接收数据处理请求，所述数据处理请求中包括待处理的第一数据对象；将所述第一数据对象存储到所述集群的数据库中，生成任务消息，所述任务消息中携带有与所述第一数据对象相关联的任务标识；向所述集群中的多个节点发布所述任务消息，以便所述节点根据所述任务标识从所述数据库中提取所述第一数据对象进行处理。一方面，本申请还提供了一种数据处理装置，应用于集群，所述集群包括多个节点，所述数据处理装置应用于所述节点，包括：第二接收单元，用于接收任务消息，所述任务消息携带有与待处理的第一数据对象相关联的任务标识；第二处理单元，用于根据所述任务标识，从所述集群的数据库中提取所述第一数据对象并进行处理。其中，所述第二处理单元，还用于在从数据库中提取所述第一数据对象之后，所述进行处理之前，为所述第一数据对象设置第二状态标识，所述第二状态标识用于标识所述第一数据对象为处理中的状态。其中，所述第二处理单元，用于在确定所述第一数据对象被设置为第二状态标识时，从所述数据库中提取所述第一数据对象。其中，所述第二处理单元，还用于从数据库中提取所述第一数据对象并进行处理之后，为所述第一数据对象设置第四状态标识或第五状态标识，所述第四状态标识用于标识所述第一数据对象为处理失败的状态，所述第五状态标识用于标识所述第一数据对象为处理成功的状态。其中，所述第二处理单元，还用于从数据库中提取所述第一数据对象并进行处理之后，将处理完成的所述第一数据对象保存到所述集群的数据库中。其中，所述第二处理单元，还用于从数据库中提取所述第一数据对象并进行处理之后，将处理完成的所述第一数据对象保存到所述集群外的数据库中，以供展示时使用。其中，还包括：第二发送单元，用于在所述第二处理单元对所述第一数据对象处理完成之后，发送第二响应消息给所述第一数据对象的请求方，所述第二响应消息用于指示所述第一数据对象已处理完成。另一方本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，应用于集群，所述集群包括多个节点，包括：接收数据处理请求，所述数据处理请求中包括待处理的第一数据对象；将所述第一数据对象存储到所述集群的数据库中，生成任务消息，所述任务消息中携带有与所述第一数据对象相关联的任务标识；向所述集群中的多个节点发布所述任务消息，以便所述节点根据所述任务标识从所述数据库中提取所述第一数据对象进行处理。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于集群，所述集群包括多个节点，包括：接收数据处理请求，所述数据处理请求中包括待处理的第一数据对象；将所述第一数据对象存储到所述集群的数据库中，生成任务消息，所述任务消息中携带有与所述第一数据对象相关联的任务标识；向所述集群中的多个节点发布所述任务消息，以便所述节点根据所述任务标识从所述数据库中提取所述第一数据对象进行处理。2.根据权利要求1所述的数据处理方法，其特征在于，在将所述第一数据对象存储到所述集群的数据库中之前，还包括：为所述第一数据对象设置第一状态标识，所述第一状态标识用于标识所述第一数据对象为待处理的状态；在所述节点根据所述任务标识从所述数据库中提取所述第一数据对象之后，还包括：为所述第一数据对象设置第二状态标识，所述第二状态标识用于标识所述第一数据对象为处理中的状态。3.根据权利要求1所述的数据处理方法，其特征在于，在将所述第一数据对象存储到所述集群的数据库中，生成任务消息之后，还包括：发送第一响应消息给所述第一数据对象的请求方，所述第一响应消息用于指示所述第一数据对象已收到。4.根据权利要求1所述的数据处理方法，其特征在于，在接收所述数据处理请求之后，生成任务消息之前，还包括：验证所述数据库中是否已存储有所述数据处理请求中待处理的第一数据对象；如果是，则从所述数据库中查询所述第一数据对象相关联的任务标识，根据所述任务标识提取所述第一数据对象，为所述第一数据对象设置第二状态标识，所述第二状态标识用于标识所述第一数据对象为处理中的状态，并对所述第一数据对象进行处理；如果不是，则创建任务流水，将所述任务流水的任务标识与所述第一数据对象相关联后存储到所述集群的数据库中。5.一种数据处理方法，其特征在于，应用于集群，所述集群包括多个节点；包括：所述节点接收任务消息，所述任务消息携带有与待处理的第一数据对象相关联的任务标识；所述节点根据所述任务标识，从所述集群的数据库中提取所述第一数据对象并进行处理。6.根据权利要求5所述的数据处理方法，其特征在于，从数据库中提取所述第一数据对象之后，所述进行处理之前，还包括：所述节点为所述第一数据对象设置第二状态标识，所述第二状态标识用于标识所述第一数据对象为处理中的状态。7.根据权利要求5或6所述的数据处理方法，其特征在于，从所述集群的数据库中提取所述第一数据对象，包括：在确定所述第一数据对象被设置为第二状态标识时，从所述数据库中提取所述第一数据对象。8.根据权利要求5所述的数据处理方法，其特征在于，从数据库中提取所述第一数据对象并进行处理之后，还包括：所述节点为所述第一数据对象设置第四状态标识或第五状态标识，所述第四状态标识用于标识所述第一数据对象为处理失败的状态，所述第五状态标识用于标识所述第一数据对象为处理成功的状态。9.根据权利要求5所述的数据处理方法，其特征在于，从数据库中提取所述第一数据对象并进行处理之后，还包括：所述节点将处理完成的所述第一数据对象保存到所述集群的数据库中。10.根据权利要求5所述的数据处理方法，其特征在于，从数据库中提取所述第一数据对象并进行处理之后，还包括：所述节点将处理完成的所述第一数据对象保存到所述集群外的数据库中，以供展示时使用。11.根据权利要求5所述的数据处理方法，其特征在于，从数据库中提取所述第一数据对象并进行处理之后，还包括：发送第二响应消息给所述第一数据对象的请求方，所述第二响应消息用于指示所述第一数据对象已处理完成。12.一种数据处理装置，其特征在于，应用于集群，所述集群包括多个节点；包括：第一接收单元，用于接收数据处理请求，所述数据处理请求中包括待处理的第一数据对象；第一处理单元，用于将所述第一数据对象存储到所述集群的数据库中，生成任务消息，所述任务消息中携带有与所述第一数据对象相关联的任务标识；发布单元，用于向所述集群中的多个节点发布所述任务消息，以便所述节点根据所述任务标识从所述数据库中提取所述第一数据对象进行处理。13.根据权利要求12所述的数据处理装置，其特征在于，所述第一处理单元，还...

【专利技术属性】
技术研发人员：韩涛，袁自诚，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY