一种分布式数据处理方法技术

本发明专利技术公开了一种分布式数据处理方法，包括：通过主控制节点获取数据处理任务，建立数据处理任务的第一排队队列；根据第一预设规则获取第一排队队列中数据处理任务的第一优先级信息；根据所述第一优先级信息按照第二预设规则选取第一目标数据处理任务；通过第一分布式节点对所述第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务；获取多个子第一目标数据处理任务的标识信息，根据所述多个子第一目标数据处理任务的标识信息对执行所述多个子第一目标数据处理任务的第二分布式节点进行分配，得到第一分配方式。对数据处理要求高的数据处理任务进行及时处理，保证该数据处理任务的时效性及准确性，提高数据处理效率。

【技术实现步骤摘要】
一种分布式数据处理方法
本专利技术涉及计算机
，特别涉及一种分布式数据处理方法。
技术介绍
分布式数据处理系统(DistributedDataStreamManagementSystem，DDSMS)是可以对数据进行分布式处理的系统。DDSMS可以极大地缩短数据处理时间，提高响应速度，在实际生活中具有极其广泛的用途。在现有分布式数据处理系统中，在获取数据处理任务后进行无差别的处理这些数据，对一些处理要求高的数据处理任务不能及时处理，分布式数据处理效率还有待提高。
技术实现思路
本专利技术旨在至少一定程度上解决上述技术中的技术问题之一。为此，本专利技术的目的在于提出一种分布式数据处理方法，对数据处理要求高的数据处理任务进行及时处理，保证该数据处理任务的时效性及准确性，提高数据处理效率。为达到上述目的，本专利技术实施例提出了一种分布式数据处理方法，包括：通过主控制节点获取数据处理任务，建立数据处理任务的第一排队队列；根据第一预设规则获取第一排队队列中数据处理任务的第一优先级信息；根据所述第一优先级信息按照第二预设规则选取第一目标数据处理任务；通过第一分布式节点对所述第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务；获取多个子第一目标数据处理任务的标识信息，根据所述多个子第一目标数据处理任务的标识信息对执行所述多个子第一目标数据处理任务的第二分布式节点进行分配，得到第一分配方式。根据本专利技术实施例提出了一种分布式数据处理方法，根据数据处理任务的具体处理要求，获取数据处理任务的第一优先级信息，根据第一优先级信息优先处理要求高的数据处理任务，使数据处理要求高的数据处理任务进行及时完成，保证该数据处理任务的时效性及准确性。在主控制节点根据第一优先级信息选取第一目标数据处理任务、在第一分布式节点将第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务、按照合理的分配方式，在第二分布式节点上处理子第一目标数据处理任务，这样设置可以提高数据进行并行处理，提高数据的处理效率。根据本专利技术的一些实施例，在一个第二分布式节点处理多个子第一目标数据处理任务时，创建相应数量的处理进程并行处理多个子第一目标数据处理任务。根据本专利技术的一些实施例，在第二分布式节点处理子目标数据处理任务，还包括：判断是否有新增的数据处理任务；在确定有新增的数据处理任务时，建立数据处理任务的第二排队队列；根据第一预设规则获取第二排队队列中数据处理任务的第二优先级信息；根据所述第二优先级信息按照第二预设规则选取第二目标数据处理任务；通过第一分布式节点对所述第二目标数据处理任务进行分片处理，得到多个子第二目标数据处理任务；获取多个子第二目标数据处理任务的标识信息，根据所述多个子第二目标数据处理任务的标识信息对执行所述多个子第二目标数据处理任务的第二分布式节点进行分配，得到第二分配方式。根据本专利技术的一些实施例，还包括：第一分布式节点向主控制节点发送第一心跳包；所述主控制节点根据所述第一心跳包判断第一分布式节点在对第一目标数据处理任务进行分片处理时是否出现异常，在确定第一分布式节点在对第一目标数据处理任务进行分片处理出现异常时，将第一目标数据处理任务作为待数据处理任务，建立数据处理任务的第三排队队列。根据本专利技术的一些实施例，还包括：第二分布式节点向主控制节点发送第二心跳包；所述主控制节点根据所述第二心跳包判断第二分布式节点在处理子第一目标数据处理任务时是否出现异常，在确定第二分布式节点在处理子第一目标数据处理任务时出现异常时，将子第一目标数据处理任务作为待数据处理任务，建立数据处理任务的第四排队队列。根据本专利技术的一些实施例，获取多个子第一目标数据处理任务的处理结果并存储在分布式文件系统中，所述处理结果包括第一处理结果和第二处理结果，包括：激活分布式文件系统的存储主节点；基于第一处理结果的第一写入请求和第二处理结果的第二写入请求，判断第一写入请求和第二写入请求是否具有相同的写入类型；在判断第一写入请求和第二写入请求具有相同的写入类型时，将第一写入请求和第二写入请求合并为一个写入请求，得到第一联合写入请求；根据第一联合写入请求，将第一处理结果和第二处理结果写入存储主节点。根据本专利技术的一些实施例，还包括：获取存储主节点在运行过程中产生的元数据；在存储主节点出现故障时，启用分布式文件系统的备用节点，备用节点在获取存储主节点在运行过程中产生的元数据后实现数据写入功能。根据本专利技术的一些实施例，多个子第一目标数据处理任务的处理结果被划分为多个数据块进行存储，所述数据块包括多个副本；根据用户的查询需求进行数据块存储数据进行访问，获取对数据块副本的预估访问频率，算法包括：计算下一周期数据块的预估访问频率：Si+1＝aSi+Si-1-aSi-1其中，a为权值系数，a∈[0,1]，Si为当前周期数据块的访问频率，Si-1为上一周期数据块的访问频率；m为当前周期数据块的访问次数，T为周期。下一周期数据块副本的预估访问频率：其中，k为副本数量。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是根据本专利技术一个实施例的一种分布式数据处理方法的流程图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1是根据本专利技术一个实施例的一种分布式数据处理方法的流程图；如图1所示，本专利技术实施例提出了一种分布式数据处理方法，包括步骤S1-S4：S1、通过主控制节点获取数据处理任务，建立数据处理任务的第一排队队列；根据第一预设规则获取第一排队队列中数据处理任务的第一优先级信息；S2、根据所述第一优先级信息按照第二预设规则选取第一目标数据处理任务；S3、通过第一分布式节点对所述第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务；S4、获取多个子第一目标数据处理任务的标识信息，根据所述多个子第一目标数据处理任务的标识信息对执行所述多个子第一目标数据处理任务的第二分布式节点进行分配，得到第一分配方式。上述技术方案的工作原理：通过主控制节点获取数据处理任务，数据类型包括：文档数据、视频数据、图像数据、音频数据、结构化数据、半结构化数据。建立数据处理任务的第一排队队列，根据第一预设规则获取第一排队队列中数据处理任本文档来自技高网...

【技术保护点】
1.一种分布式数据处理方法，其特征在于，包括：/n通过主控制节点获取数据处理任务，建立数据处理任务的第一排队队列；根据第一预设规则获取第一排队队列中数据处理任务的第一优先级信息；/n根据所述第一优先级信息按照第二预设规则选取第一目标数据处理任务；/n通过第一分布式节点对所述第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务；/n获取多个子第一目标数据处理任务的标识信息，根据所述多个子第一目标数据处理任务的标识信息对执行所述多个子第一目标数据处理任务的第二分布式节点进行分配，得到第一分配方式。/n

【技术特征摘要】
1.一种分布式数据处理方法，其特征在于，包括：
通过主控制节点获取数据处理任务，建立数据处理任务的第一排队队列；根据第一预设规则获取第一排队队列中数据处理任务的第一优先级信息；
根据所述第一优先级信息按照第二预设规则选取第一目标数据处理任务；
通过第一分布式节点对所述第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务；
获取多个子第一目标数据处理任务的标识信息，根据所述多个子第一目标数据处理任务的标识信息对执行所述多个子第一目标数据处理任务的第二分布式节点进行分配，得到第一分配方式。


2.如权利要求1所述的分布式数据处理方法，其特征在于，在一个第二分布式节点处理多个子第一目标数据处理任务时，创建相应数量的处理进程并行处理多个子第一目标数据处理任务。


3.如权利要求1所述的分布式数据处理方法，其特征在于，在第二分布式节点处理子目标数据处理任务，还包括：
判断是否有新增的数据处理任务；
在确定有新增的数据处理任务时，建立数据处理任务的第二排队队列；根据第一预设规则获取第二排队队列中数据处理任务的第二优先级信息；
根据所述第二优先级信息按照第二预设规则选取第二目标数据处理任务；
通过第一分布式节点对所述第二目标数据处理任务进行分片处理，得到多个子第二目标数据处理任务；
获取多个子第二目标数据处理任务的标识信息，根据所述多个子第二目标数据处理任务的标识信息对执行所述多个子第二目标数据处理任务的第二分布式节点进行分配，得到第二分配方式。


4.如权利要求1所述的分布式数据处理方法，其特征在于，还包括：
第一分布式节点向主控制节点发送第一心跳包；
所述主控制节点根据所述第一心跳包判断第一分布式节点在对第一目标数据处理任务进行分片处理时是否出现异常，在确定第一分布式节点在对第一目标数据处理任务进行分片处理出现异常时，将第一目标数据处理任务作为待数据处理任务，建立数据处理任务的第三排队队列。


5.如权利...

【专利技术属性】
技术研发人员：王军平，
申请(专利权)人：北京赛博云睿智能科技有限公司，
类型：发明
国别省市：北京;11