一种数据处理方法、装置、服务器及介质制造方法及图纸

本申请适用于数据处理技术领域，提供了一种数据处理方法、装置、服务器及介质，所述方法包括：接收中央服务器发送的数据汇总指令；根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；根据所述临界值对所述节点服务器存储的数据进行处理。通过上述方法，能够提高数据处理的效率，节省存储空间。

A data processing method, device, server and medium

The application is applicable to the field of data processing technology, and provides a data processing method, device, server and medium. The method includes: receiving data summary instruction sent by the central server; grouping and summarizing the data stored by the node server according to the data summary instruction, and reporting the summary data to the central server; receiving the data sent by the central server The critical value is determined by the central server according to the summary data of multiple node servers, and the data stored by the node servers is processed according to the critical value. The method can improve the efficiency of data processing and save storage space.

【技术实现步骤摘要】
一种数据处理方法、装置、服务器及介质
本申请属于数据处理
，尤其涉及一种数据处理方法、装置、服务器及介质。
技术介绍
在计算机
，经常需要对大量的数据进行处理。例如进行数据采集、数据排序和数据筛选。当需要处理的数据量很大时，整个数据处理的过程消耗资源多且需要时间长。分布式计算能够将一个大问题拆分成多个子问题，然后在各个分节点解决子问题，从而缩短解决整个大问题的时间。但是，目前虽然可以利用分布式计算采集数据，但在进行数据排序和筛选时，还是要将大量数据集中处理，对所有的数据采用同一个计算设备进行顺序处理，需要耗费大量的网络传输和存储资源，而且计算时间比较长。
技术实现思路
本申请实施例提供了一种数据处理方法、装置、服务器及介质，可以解决数据处理消耗资源多、效率低的问题。第一方面，本申请实施例提供了一种数据处理方法，应用于节点服务器，所述方法包括：接收中央服务器发送的数据汇总指令；根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；根据所述临界值对所述节点服务器存储的数据进行处理。第二方面，本申请实施例提供了一种数据处理方法，应用于中央服务器，所述方法包括：向与所述中央服务器关联的多个节点服务器发送数据汇总指令；接收所述多个节点服务器根据所述数据汇总指令返回的汇总数据，所述汇总数据由每个节点服务器对存储的数据进行分组汇总获得；根据所述多个节点服务器返回的汇总数据确定临界值；将所述临界值发送至所述多个节点服务器，以指示所述多个节点服务器根据所述临界值对存储的数据进行处理。第三方面，本申请实施例提供了一种数据处理装置，应用于节点服务器，所述装置包括：指令接收模块，用于接收中央服务器发送的数据汇总指令；数据汇总模块，用于根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；临界值接收模块，用于接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；数据处理模块，用于根据所述临界值对所述节点服务器存储的数据进行处理。第四方面，本申请实施例提供了一种数据处理装置，应用于中央服务器，所述装置包括：指令发送模块，用于向与所述中央服务器关联的多个节点服务器发送数据汇总指令；数据接收模块，用于接收所述多个节点服务器根据所述数据汇总指令返回的汇总数据，所述汇总数据由每个节点服务器对存储的数据进行分组汇总获得；临界值确定模块，用于根据所述多个节点服务器返回的汇总数据确定临界值；临界值发送模块，用于将所述临界值发送至所述多个节点服务器，以指示所述多个节点服务器根据所述临界值对存储的数据进行处理。第五方面，本申请实施例提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第二方面所述的方法。第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面或第二方面所述的方法。第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在服务器上运行时，使得服务器执行上述第一方面或第二方面任一项所述的方法。本申请实施例与现有技术相比存在的有益效果是：在本申请实施例中，中央服务器与多个节点服务器相关联，各个节点服务器接收中央服务器发送的数据汇总指令，然后根据数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至中央服务器；中央服务器根据多个节点服务器的汇总数据确定临界值，节点服务器接收中央服务器发送的临界值，然后根据临界值对节点服务器存储的数据进行处理。数据处理过程中不需要将所有的原始数据全部发送到中央服务器上，而是由节点服务器对数据进行汇总后，再将汇总数据发送到中央服务器上，减少了需要进行传输的数据量，且节省了中央服务器的存储空间。本实施例通过节点服务器和中央服务器共同进行数据处理，提高了数据处理的效率，缩短了计算时间。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例一提供的一种数据处理方法的流程示意图；图2是本申请实施例二提供的一种数据处理方法的流程示意图；图3是本申请实施例三提供的一种数据处理方法的流程示意图；图4是本申请实施例四提供的一种数据处理方法的流程示意图；图5是本申请实施例五提供的一种数据处理方法的流程示意图；图6是本申请实施例六提供的一种中央服务器与节点服务器之间的关系示意图；图7是本申请实施例六提供的一种数据处理方法的流程示意图；图8是本申请实施例七提供的一种数据处理装置的结构示意图；图9是本申请实施例八提供的一种数据处理装置的结构示意图；图10是本申请实施例九提供的服务器的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于节点服务器，所述方法包括：/n接收中央服务器发送的数据汇总指令；/n根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；/n接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；/n根据所述临界值对所述节点服务器存储的数据进行处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于节点服务器，所述方法包括：
接收中央服务器发送的数据汇总指令；
根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；
接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；
根据所述临界值对所述节点服务器存储的数据进行处理。


2.如权利要求1所述的方法，其特征在于，所述根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器，包括：
按照所述数据汇总指令中携带的分组信息，对所述节点服务器存储的数据进行分组，计算每个分组的数据和；
将每个分组的数据和发送至所述中央服务器。


3.如权利要求2所述的方法，所述分组信息包括分组时间段，所述按照所述数据汇总指令中携带的分组信息，对所述节点服务器存储的数据进行分组，计算每个分组的数据和，包括:
按照所述分组时间段，对所述节点服务器存储的数据进行分组，计算每个时间段内的数据和。


4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述临界值对所述节点服务器存储的数据进行处理，包括：
根据所述临界值，识别所述节点服务器存储的数据中的待处理数据；
按照预设方式对所述待处理数据进行处理。


5.如权利要求4所述的方法，其特征在于，所述节点服务器存储的数据分别具有相应的数据时间信息，所述根据所述临界值，识别所述节点服务器存储的数据中的待处理数据，包括：
确定所述临界值对应的时间点；
在所述节点服务器存储的数据中，识别所述数据时间信息小于所述临界值对应的时间点的数据为所...

【专利技术属性】
技术研发人员：杨志华，熊维，余宝春，
申请(专利权)人：金证财富南京科技有限公司，
类型：发明
国别省市：江苏;32