一种数据处理方法以及数据处理装置制造方法及图纸

本申请提供一种数据处理方法以及数据处理装置，该方法包括：第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，消息队列包含多个分区，目标数据为多个分区中的目标分区内实时更新的数据；第一服务通讯框架SCF将目标数据转发至第二SCF的第一节点，第二SCF的第一节点用于对目标数据进行处理，其中，第二SCF包含多个节点，第一节点为多个节点中的节点。这样，第一服务通讯框架SCF可以从服务器的消息队列中拉取目标数据，并将目标数据转发至第二SCF的第一节点，由第二SCF的第一节点对目标数据进行处理。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。

【技术实现步骤摘要】
一种数据处理方法以及数据处理装置
本申请涉及通信
，尤其涉及一种数据处理方法以及数据处理装置。
技术介绍
消息队列是指在消息的传输过程中保存消息的容器，消息队列的主要目的是提供路由并保证消息传递的可靠性。如果消息被发送时，消息接收者不可用，消息队列可以保留消息，直到可以成功地传递它。当采用消息队列作为数据通道时，消息队列可以包含多个分区，并行处理数据的线程数受限于消息队列的分区。当数据量较大或者数据处理业务量较大时，容易造成数据延迟或者数据丢失。
技术实现思路
本申请提供了一种数据处理方法以及数据处理装置，以解决现有技术中，当数据量较大或者数据处理业务量较大时，容易造成数据延迟或者数据丢失的问题。第一方面，本专利技术提供了一种数据处理方法，所述方法包括：第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；/n所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；
所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。


2.如权利要求1所述的方法，其特征在于，在所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点的步骤之后，所述方法还包括：
所述第一服务通讯框架SCF接收所述第二SCF的第一节点返回的无法处理信息；
所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，所述第二SCF的第二节点用于对所述目标数据进行处理，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。


3.如权利要求2所述的方法，其特征在于，所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，包括：
所述第一服务通讯框架SCF根据所述无法处理信息，判断所述目标数据的转发次数是否大于或者等于预设第一阈值；
所述第一服务通讯框架SCF在判断出所述目标数据的转发次数小于所述预设第一阈值的情况下，将所述目标数据转发至所述第二SCF的第二节点。


4.如权利要求3所述的方法，其特征在于，所述方法还包括：
所述第一服务通讯框架SCF在判断出所述目标数据的转发次数大于或者等于所述预设第一阈值的情况下，显示提示信息。


5.一种数据处理方法，其特征在于，所述方法包括：
第二SCF的第一节点接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点；
所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力；
在所述第二SCF的第一节点判断出具有处理所述目标数据的能力的情况下，对所述目标数据进行处理；
在所述第二SCF的第一节点判断出不具有处理所述目标数据的能力的情况下，向所述第一SCF返回无法处理信息。


6.如权利要求5所述的方法，其特征在于，在所述向所述第一SCF返回无法处理信息的步骤之后，所述方法还包括：
所述第二SCF的第二节点接收所述第一SCF转发的所述目标数据，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。


7.如权利要求5或6所述的方法，其特征在于，所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力，包括：
所述第二SCF的第一节点判断所述第一节点的中央处理器CPU的当前使用率是否大于或者等于预设第二阈值；
所述第二SCF的第一节点判断所述第一节点的内存占用率是否大于或者等于预设第三阈值；
在所述中央处理器CPU的当前使用率小于所述预设第二阈值，且所述内存占用率小于所述预设第三阈值的情况下，确定具有处理所述目标数据的能力；
在所述中央处理器CPU的当前使用率大于或者等于所述预设第二阈值和/或所述内存占用率大于或者等于所述预设第三阈值的情况下，确定不具有处理所述目标数据的能力。


8.一种数据处理装置，其特征在于，包括：
拉取模块，第一服务通讯框架SCF通过所述拉取模块从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；
第一转发模块，所述第一服务通讯框架SCF通过所述第一转发模块将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。


9.如权利要求8所述的数据处理装置，其特征在于...

【专利技术属性】
技术研发人员：高伟伟，史忠伟，
申请(专利权)人：五八有限公司，
类型：发明
国别省市：天津;12