一种工业分布式数据采集系统中的任务分配方法技术方案

本发明专利技术提出一种工业分布式数据采集系统中的任务分配方法，该方法综合考虑采集节点资源利用率、采集效率、负载均衡、采集可靠性、异构采集节点等多重因素，建立基于仿真的初始采集节点个数优化模型和初始任务分配优化模型，根据各采集节点实际配置和使用情况，对工作的采集节点个数进行优化，提高了采集资源利用率，实现了工业分布式数据采集系统中各采集节点资源配置和资源使用情况不同条件下，既包含1:1冗余任务又包含非冗余任务的任务初始分配，满足了工业大数据环境下工业分布式数据采集对采集实时性、可靠性、资源有效利用等的需求。

A task allocation method in an industrial distributed data acquisition system

【技术实现步骤摘要】
一种工业分布式数据采集系统中的任务分配方法
本专利技术属于数据采集
，具体涉及一种工业分布式数据采集系统中的任务分配方法。
技术介绍
随着工业大数据环境的到来，工业过程中数据源日渐多样化、数据规模增大，面对工业大规模高频数据的采集，以及一些新的应用需求，为了保证数据采集的时序性、实时性和可靠性，越来越多的企业开始考虑采用分布式系统来进行工业数据采集。在分布式数据采集系统的设计过程中，任务分配策略是十分关键的环节，它将直接影响采集系统的资源利用率效率和数据采集效率。在分布式环境下，由于各采集节点可以灵活地加入或退出，各采集节点所采集的数据不再对应固定的生产环节，而具有一定的灵活性，且各采集节点由于自身的原因，其在任务初始分配时刻，资源配置情况和使用情况很可能不尽相同，这种情况下势必带来一些问题，如何选择初始工作的采集节点，使得能够采用最少的节点完成给定的采集任务，从而最大限度地节省系统资源及电量等其他开销，如何将各生产环节的数据采集任务有效地分配给各个异构的采集节点进行并行采集，且保证各个采集节点在采集过程中的负载尽可能均衡，从而最大程度提高资源利用效率和采集效率是需要解决的一大问题，如果对任务分配不合理，将导致节点之间的负载不均衡，直接影响数据采集的效率，进而影响采集数据的时序性，从而使得后续实时数据监控和关联分析无法实现；另外，由于工业上重要生产环节的数据可靠性要求较为严格，有时同一生产环节的不同数据重要程度也不尽相同，对于重要数据的采集任务通常需要进行备份，备份任务只进行采集，不进行存储，仅在主任务采集失败时才进行存储，在分布式环境下，如何进行普通任务和重要任务的合理分配，满足负载均衡，同时保证重要任务的主任务和冗余任务不分配在同一采集节点，是工业数据采集中需要考虑的又一问题。目前在工业分布式数据采集系统方面的专利主要有“CN105527948A(一种基于工业过程的大规模分布式数据采集系统及方法)”，“CN201610522950.X(一种大规模分布式数据采集系统及方法)”，“CN201610736266.1(一种基于工业云的大规模分布式智能数据采集系统及方法)”，“201610622589.8(基于一致性哈希算法的任务调度机制及系统)”。专利CN105527948A采用一个客户端选择模块，将多个现场控制站的采集任务按照现场控制站个数平均分配给多个采集客户端，但当各现场控制站中采集任务个数不同时，该分配方式无法实现负载均衡。专利CN201610522950.X和专利CN201610736266.1均采用循环均分方式，将用户设定的采集任务依次循环均分给各个采集节点，并将其一、二号备份任务循环分配给与其相邻的下两个编号采集节点；专利201610622589.8通过将可用执行单元的哈希值和任务的哈希值分配在同一个一致性哈希环上，并根据任务的执行次数n，选取查找方向，按照查找方向在一致性哈希环上将任务分配给与其哈希值最接近的n个对应执行单元实现任务的随机分配。上述专利虽然能实现任务的有效分配，但其只针对各采集节点在初始分配时刻，资源使用情况均相同的场合，对于资源配置情况或使用情况不同的异构采集节点，上述分配方案不适用，且现有专利所述分配方式仅针对所有任务均为重要任务，均需要备份，或所有任务均不备份的场合，而实际工业生产过程中，为了提高资源利用率，同时满足采集任务中重要任务的采集可靠性，常常仅为采集任务中的部分重要数据所对应的采集任务进行备份，其他任务不备份，现有专利中的任务分配方式在这种情况下无法实现各采集节点的负载均衡，且现有专利中没有提供初始工作采集节点个数的具体优化方式，容易造成采集资源的浪费。
技术实现思路
针对现有技术的不足，本专利技术提出一种工业分布式数据采集系统中的任务分配方法，以达到提高工业数据采集系统资源利用率、采集效率和采集可靠性的目的。本专利技术采用的技术方案是：一种工业分布式数据采集系统中的任务分配方法，包括以下步骤：步骤1、建立各采集节点采集资源与采集任务的对应关系；步骤2、建立各采集节点采集时间与采集不同个数采集任务所对应的资源利用率的对应关系；步骤3、优化初始工作的采集节点个数，选择并开启初始工作的采集节点；步骤4、建立任务分配优化模型，进行采集任务的初始分配。步骤1中包括如下步骤：步骤1.1、单独对每个采集节点分配采集任务，改变采集任务个数，测量采集大量不同个数的采集任务时，第i个采集节点上消耗的采集资源数据；步骤1.2、对步骤1.1所得第i个采集节点上的采集任务数据Ti和对应资源消耗数据进行拟合，求得和Ti的函数关系式步骤2中包括如下步骤：步骤2.1、单独对每个采集节点分配采集任务，改变采集任务个数，测量各节点上采集大量不同个数的采集任务所对应的采集资源利用率数据和执行一次该节点上分配的全部采集任务所需要的采集时间数据；步骤2.2、对步骤2.1所得各节点上采集Ti个采集任务所对应的采集资源利用率ui、采集时间timei进行拟合，求得第i个采集节点上采集时间timei与该节点上采集Ti个采集任务所对应的采集资源利用率ui的函数关系式timei＝g(ui)。步骤3中包括如下步骤：步骤3.1、根据步骤1和步骤2的仿真结果，建立初始工作的采集节点个数的优化模型，根据各采集节点资源配置的不同以及在初始任务分配时刻各采集节点资源使用情况的不同，考虑采集周期约束和采集资源利用率约束，最小化初始工作采集节点个数n；优化模型如下：minntimei≤Timei＝1,2...n(1-3)timei＝g(ui)i＝1,2...n(1-4)其中式(1-1)表示第i个采集节点的资源利用率ui不能超过用户所设置的资源利用率阈值，ui0表示第i个节点未分配任务前的资源利用率，Ri表示第i个采集节点上配置的可用资源总量，uh表示用户设置的节点资源利用率上限阈值，uw表示用户设置的节点资源利用率阈值带宽；式(1-3)表示第i个采集节点上执行一次所分配的全部采集任务的采集时间timei不能超过用户设定的采集周期Time；式(1-5)表示分配到所有采集节点上的采集任务个数Ti的总和为待分配任务总个数M；式(1-2)和式(1-4)分别为步骤1和步骤2的仿真结果；步骤3.2、求解步骤3.1所述优化模型，得到初始工作的采集节点个数n，并开启相应节点，其余节点作为冗余热备的采集节点。步骤4中包括如下步骤：步骤4.1、按照优先级顺序对初始采集任务进行编号；步骤4.2、根据其中的重要任务提炼出冗余任务，各冗余任务编号与其初始任务编号相同；步骤4.3、根据步骤3的求解结果，建立初始任务分配优化模型：timei≤Timei＝1,2...n(1-9)timei＝g(ui)i＝1,2...n(1-10)其中(1-6)表示最小化各采集节点间负载差总和ΔU，使得各采集节点尽可能负载均衡；式(1-7)表示第i个采集节点的资源利用率ui不能超过用户所设置的资源利用率阈值；式(1-9)表示第i个采集节点上执行一次所分配的全部采集任务的采集时间timei不能超过用户设定的采集周期Time；式(1-11)表示分配到所有采集节点上的采集任务个数Ti的总和为待分配任务总个数M；式(1-8)和式(1-10)分别为步骤1和步骤2的仿真结果；式(1本文档来自技高网...

【技术保护点】
一种工业分布式数据采集系统中的任务分配方法，其特征在于，包括以下步骤：步骤1、建立各采集节点采集资源与采集任务的对应关系；步骤2、建立各采集节点采集时间与采集不同个数采集任务所对应的资源利用率的对应关系；步骤3、优化初始工作的采集节点个数，选择并开启初始工作的采集节点；步骤4、建立任务分配优化模型，进行采集任务的初始分配。

【技术特征摘要】
1.一种工业分布式数据采集系统中的任务分配方法，其特征在于，包括以下步骤：步骤1、建立各采集节点采集资源与采集任务的对应关系；步骤2、建立各采集节点采集时间与采集不同个数采集任务所对应的资源利用率的对应关系；步骤3、优化初始工作的采集节点个数，选择并开启初始工作的采集节点；步骤4、建立任务分配优化模型，进行采集任务的初始分配。2.根据权利要求1所述的一种工业分布式数据采集系统中的任务分配方法，其特征在于，步骤1中包括如下步骤：步骤1.1、单独对每个采集节点分配采集任务，改变采集任务个数，测量采集大量不同个数的采集任务时，第i个采集节点上消耗的采集资源数据；步骤1.2、对步骤1.1所得第i个采集节点上的采集任务数据Ti和对应资源消耗数据进行拟合，求得和Ti的函数关系式3.根据权利要求1所述的一种工业分布式数据采集系统中的任务分配方法，其特征在于，步骤2中包括如下步骤：步骤2.1、单独对每个采集节点分配采集任务，改变采集任务个数，测量各节点上采集大量不同个数的采集任务所对应的采集资源利用率数据和执行一次该节点上分配的全部采集任务所需要的采集时间数据；步骤2.2、对步骤2.1所得各节点上采集Ti个采集任务所对应的采集资源利用率ui、采集时间timei进行拟合，求得第i个采集节点上采集时间timei与该节点上采集Ti个采集任务所对应的采集资源利用率ui的函数关系式timei＝g(ui)。4.根据权利要求1所述的一种工业分布式数据采集系统中的任务分配方法，其特征在于，步骤3中包括如下步骤：步骤3.1、根据步骤1和步骤2的仿真结果，建立初始工作的采集节点个数的优化模型，根据各采集节点资源配置的不同以及在初始任务分配时刻各采集节点资源使用情况的不同，考虑采集周期约束和采集资源利用率约束，最小化初始工作采集节点个数n；优化模型如下：minntimei≤Timei＝1,2...n(1-3)timei＝g(ui)i＝1,2...n(1-4)其中式(1-1)表示第i个采集节点的资源利用率ui不能超过用户所设置的资源利用率阈值，ui0表示第i个节点未分配任务前的资源利用率，Ri表示第i个采集节点上配置的可用资源总量，uh表示用户设置的节点资源利用率上限阈值，uw表示用户设置的节点资源利用率阈值带宽；式(1-3)表示第i个采集节点上执行一次所分配的全部采集任务的采集时间timei不能超过用户设定的采集周期Time；式(1-5)表示分配到所有采集节点上的采集任务个数Ti的总和为待分配任务总个数M；式(1-2)和式(1-4)分别为步骤1和步骤2的仿真结果；步骤3.2、求解步骤3.1所述优化模型，得到初始工作的采集节点个数n，并开启相应节点，其余节点作为冗余热备的采集节点。5.根据权利要求1所述的一种工业分布式数据采集系统中的任务分配方法，其特征在于，步骤4中包括如下步骤：步骤4.1、按照优先级顺序对初始采集任务进行编号；步骤4.2、根据其中的重要任务提炼出冗余任务...

【专利技术属性】
技术研发人员：徐泉，冉振莉，张志强，王良勇，柴天佑，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21