一种数据处理的方法、装置及系统制造方法及图纸

本申请公开了一种数据处理的方法、装置及系统，用以解决现有技术中对数据处理的实时性和可扩展性差的问题。该方法处理节点在协调服务器中获取为该处理节点配置的每个数据处理任务，接收上一级处理节点输出的每个数据流，根据获取的数据处理任务对应的输入条件，在接收到的每个数据流包含的数据中，提取符合输入条件的数据，根据该数据处理任务对应的处理逻辑，对提取的数据进行处理，当判断存在下一级处理节点时，将处理后的数据发送给下一级处理节点处理，否则将处理后的数据作为处理结果输出，提高了处理数据的实时性，提高了数据处理的系统的可扩展性。

【技术实现步骤摘要】

本申请涉及互联网
，尤其涉及一种数据处理的方法、装置及系统。
技术介绍
随着互联网用户的增多及大型网站的访问量不断攀升，互联网上出现了大量的数据流，其中，该数据流由多个数据构成，构成该数据流的数据携带该数据流对应的数据流标识信息。数据流中的每个数据往往具有很强的实时性，要求数据处理装置及时的处理数据流中的每个数据。例如，该数据流中的数据包含用户访问某个网站的访问量，及时的对包含访问量的数据进行处理，可以反映该网站的访问量的变化情况，分析每天各小时用户访问该网站的访问量，以及各小时访问该网站的用户数分布，这对于该网站来说具有重要的实际意义。再如，团购网站上进行限时促销某种商品时，由于商品的数量有限，因此需要实时的更新商品的剩余数量信息，对于用户而言，用户也会比较关心该商品已经有多少人抢购成功，还剩多少件商品等信息，那么包含这些信息的数据也是具有很强的实时性的。然而，现有技术中一种数据处理的方法为：数据处理装置将数据流中的数据先保存下来，并按照设定的时间间隔，采用批处理的方式对保存的数据进行处理，将处理结果输出。在上述过程中，由于数据处理装置的能力有限，因此数据处理装置不能持续的对数据进行处理，而只能先将数据保存下来，并按照设定的时间间隔通过批处理的方式进行处理。并且，受限于数据处理装置的能力，该设定的时间间隔一般较长，例如一天。显然，根据这种数据处理的方法，数据处理装置对数据流中的数据进行处理的实时性较差。现有技术中的另一种数据处理方法为，通过流计算技术进行数据的处理，该方法虽然可以对数据流中的数据进行实时的处理，但是该方法需要为数据处理系统中的每个处理节点分别配置数据处理任务，因此，该方法只能针对某一特定应用场景进行数据处理，例如，某种数据处理系统只能处理包含网站的访问量的数据，而另一种数据处理系统只能处理包含网站上促销的商品信息的数据，这种方法使得通过流计算技术进行数据处理的方法不具有通用性，可扩展性较差。
技术实现思路
本申请实施例提供一种数据处理的方法、装置及系统，用以解决现有技术中对数据流中的数据进行处理的实时性较差，可扩展性较差的问题。本申请实施例提供的一种数据处理的方法，包括：每级处理节点在协调服务器中获取分别为所述每级处理节点配置的每个数据处理任务，其中，数据处理任务包括该数据处理任务对应的输入条件和处理逻辑；所述每级处理节点接收至少一个上一级处理节点输出的每个数据流；并针对获取的每个数据处理任务，根据该数据处理任务对应的输入条件，在接收到的所述至少一个上一级处理节点输出的每个数据流包含的数据中，提取符合该输入条件的数据；以及根据该数据处理任务对应的处理逻辑，对提取的数据进行处理；所述每级处理节点判断是否存在下一级处理节点，若存在，则将处理后的数据发送给下一级处理节点进行处理，否则将处理后的数据作为处理结果输出。本申请实施例提供的一种数据处理的系统，包括：多级处理节点，每级处理节点用于在协调服务器中获取分别为所述每级处理节点配置的每个数据处理任务，其中，数据处理任务包括该数据处理任务对应的输入条件和处理逻辑，每级处理节点接收至少一个上一级处理节点输出的每个数据流，并针对获取的每个数据处理任务，根据该数据处理任务对应的输入条件，在接收到的所述至少一个上一级处理节点输出的每个数据流包含的数据中，提取符合该输入条件的数据，根据该数据处理任务对应的处理逻辑，对提取的数据进行处理，判断是否存在下一级处理节点，若存在，则将处理后的数据发送给下一级处理节点进行处理，否则将处理后的数据作为处理结果输出；协调服务器，用于存储分别为每级处理节点配置的每个数据处理任务，并分别向每级处理节点提供为每级处理节点配置的每个数据处理任务。本申请实施例提供的一种数据处理的方法，包括：当前处理节点在协调服务器中获取为所述当前处理节点配置的每个数据处理任务，其中，数据处理任务包括该数据处理任务对应的输入条件和处理逻辑；所述当前处理节点接收至少一个上一级处理节点输出的每个数据流；并针对获取的每个数据处理任务，执行：当前处理节点根据该数据处理任务对应的输入条件，在接收到的所述至少一个上一级处理节点输出的每个数据流包含的数据中，提取符合该输入条件的数据；以及根据该数据处理任务对应的处理逻辑，对提取的数据进行处理；当前处理节点判断是否存在下一级处理节点，若存在，则将处理后的数据发送给下一级处理节点进行处理，否则将处理后的数据作为处理结果输出。本申请实施例提供的一种处理节点，包括：获取模块，用于在协调服务器中获取为自身配置的每个数据处理任务，其中，数据处理任务包括该数据处理任务对应的输入条件和处理逻辑；接收模块，用于接收至少一个上一级处理节点输出的每个数据流；提取模块，用于针对获取的每个数据处理任务，根据该数据处理任务对应的输入条件，在接收到的所述至少一个上一级处理节点输出的每个数据流包含的数据中，提取符合该输入条件的数据；处理模块，用于根据该数据处理任务对应的处理逻辑，对提取的数据进行处理；判断发送模块，用于判断是否存在下一级处理节点，若存在，则将处理后的数据发送给下一级处理节点进行处理，否则将处理后的数据作为处理结果输出。本申请实施例提供一种数据处理的方法、装置及系统，该方法每级处理节点在协调服务器中获取分别为该每级处理节点配置的每个数据处理任务，并接收上一级处理节点输出的每个数据流，根据获取的数据处理任务对应的输入条件，在接收到的每个数据流包含的数据中，提取符合该输入条件的数据，根据该数据处理任务对应的处理逻辑，对提取的数据进行处理，当判断存在下一级处理节点时，将处理后的数据发送给下一级处理节点处理，否则将处理后的数据作为处理结果输出。由于本申请实施例中将对数据流中的数据进行处理的过程拆分为多个数据处理任务，并采用多级处理节点分别进行不同的数据处理任务，因此每级处理节点处理数据的负担较轻，可以持续的对数据流中的数据进行处理，提高了处理数据流中的数据的实时性，并且可以在协调服务器中为每级处理节点配置相应的数据处理任务，提高了数据处理系统的可扩展性。附图说明图1为本申请实施例提供的数据处理的过程；图2为本申请实施例提供的基于图1的方法的数据处理的系统结构示意图；图3为本申请实施例提供的针对图2中的一个处理节点的数据处理过程；图4为本申请实施例提本文档来自技高网...

【技术保护点】
一种数据处理的方法，其特征在于，包括：每级处理节点在协调服务器中获取分别为所述每级处理节点配置的每个数据处理任务，其中，数据处理任务包括该数据处理任务对应的输入条件和处理逻辑；所述每级处理节点接收至少一个上一级处理节点输出的每个数据流；并针对获取的每个数据处理任务，根据该数据处理任务对应的输入条件，在接收到的所述至少一个上一级处理节点输出的每个数据流包含的数据中，提取符合该输入条件的数据；以及根据该数据处理任务对应的处理逻辑，对提取的数据进行处理；所述每级处理节点判断是否存在下一级处理节点，若存在，则将处理后的数据发送给下一级处理节点进行处理，否则，将处理后的数据作为处理结果输出。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
每级处理节点在协调服务器中获取分别为所述每级处理节点配置的每个
数据处理任务，其中，数据处理任务包括该数据处理任务对应的输入条件和处
理逻辑；
所述每级处理节点接收至少一个上一级处理节点输出的每个数据流；并
针对获取的每个数据处理任务，根据该数据处理任务对应的输入条件，在
接收到的所述至少一个上一级处理节点输出的每个数据流包含的数据中，提取
符合该输入条件的数据；以及
根据该数据处理任务对应的处理逻辑，对提取的数据进行处理；
所述每级处理节点判断是否存在下一级处理节点，若存在，则将处理后的
数据发送给下一级处理节点进行处理，否则，将处理后的数据作为处理结果输
出。
2.一种数据处理的系统，其特征在于，包括：
多级处理节点，每级处理节点用于在协调服务器中获取分别为所述每级处
理节点配置的每个数据处理任务；其中，数据处理任务包括该数据处理任务对
应的输入条件和处理逻辑，每级处理节点接收至少一个上一级处理节点输出的
每个数据流，并针对获取的每个数据处理任务，根据该数据处理任务对应的输
入条件，在接收到的所述至少一个上一级处理节点输出的每个数据流包含的数
据中，提取符合该输入条件的数据，根据该数据处理任务对应的处理逻辑，对
提取的数据进行处理，判断是否存在下一级处理节点，若存在，则将处理后的
数据发送给下一级处理节点进行处理，否则将处理后的数据作为处理结果输
出；
协调服务器，用于存储分别为每级处理节点配置的每个数据处理任务，并
分别向每级处理节点提供为每级处理节点配置的每个数据处理任务。
3.一种数据处理的方法，其特征在于，包括：
当前处理节点在协调服务器中获取为所述当前处理节点配置的每个数据
处理任务，其中，数据处理任务包括该数据处理任务对应的输入条件和处理逻
辑；
所述当前处理节点接收至少一个上一级处理节点输出的每个数据流；并
针对获取的每个数据处理任务，执行：
当前处理节点根据该数据处理任务对应的输入条件，在接收到的所述至少
一个上一级处理节点输出的每个数据流包含的数据中，提取符合该输入条件的
数据；以及
根据该数据处理任务对应的处理逻辑，对提取的数据进行处理；
当前处理节点判断是否存在下一级处理节点，若存在，则将处理后的数据
发送给下一级处理节点进行处理，否则将处理后的数据作为处理结果输出。
4.如权利要求3所述的方法，其特征在于，根据该数据处理任务对应的
输入条件，在接收到的所述至少一个上一级处理节点输出的每个数据流包含的
数据中，提取符合所述输入条件的数据，具体包括：
根据该数据处理任务对应的输入条件中包含的数据流标识信息，在接...

【专利技术属性】
技术研发人员：张维，王晓哲，郑培祥，原攀峰，张茂森，朱震杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：