【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据采集任务编排方法、装置。
技术介绍
1、电网多要素数据包括主配网数据、气象水文数据、用采系统数据、灵活资源数据等，这些数据源在电网运营和管理中至关重要。电网需要实时监测负荷情况、天气状况、电力供需等多个因素，以保持稳定运行。然而，这些数据源的特点不同，时效性要求也不同，因此需要智能的任务编排来满足电网运营的需求。
2、在电网多要素数据采集任务编排下，存在多种现有的数据采集和任务编排方案。例如，常见的现有方案有：第一种，手动任务编排方案，这是最基本的方法，运营人员手动创建和分配数据采集任务。这种方法灵活，但效率较低，无法应对大规模数据采集和多要素数据源的复杂性；第二种，定时轮询任务方案，具体是按照固定的时间间隔轮询各数据源，以获取数据。这种方法易于实现，但不适合需要即时数据的场景，且可能浪费资源；第三种，静态任务编排方案，在这种方法中，任务编排是静态的，预先定义好了任务的顺序和频率。这种方式适合一些固定的数据源，但无法应对动态变化的数据需求。
3、综上，目前的电网多要素数据采集难以应对电网多要素数据源的复杂性，存在未能充分利用可用资源、导致资源浪费的问题，难以灵活适应电网多要素数据源多样性的问题，无法高效地协调不同数据源的数据采集导致效率低下的问题，以及难以满足数据时效性要求的问题。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题，为此，本专利技术第一方面提出一种数据采集任务编排方法，所述方法包括：p>
2、获取对m个系统进行业务数据采集的m个采集任务，并获取各个所述采集任务的任务特征信息和待执行所述采集任务的n个节点各自的节点特征信息；n＜m；
3、根据所述节点特征信息和所述任务特征信息，确定各个所述节点执行各个所述采集任务的适配度；
4、确定将所述m个采集任务随机分配给所述n个节点的第一任务编排策略，并根据所述任务特征信息确定所述第一任务编排策略的第一任务效率得分；
5、基于所述第一任务效率得分和预设的价值计算函数，计算所述第一任务编排策略的第一全局价值；
6、根据所述适配度和所述n个节点当前的资源可用性，确定第二任务编排策略，并计算所述第二任务编排策略对应的第二全局价值；
7、若所述第二全局价值大于所述第一全局价值，则根据所述适配度和所述节点当前的资源可用性确定下一步任务编排策略；若所述第二全局价值小于或等于所述第一全局价值，则回退到上一步，将所述第一任务编排策略确定为下一步任务编排策略；如此进行多次迭代更新，直至全局价值收敛，得到目标任务编排策略；
8、根据所述目标任务编排策略将所述m个采集任务分配给所述n个节点，并开始执行所述采集任务；
9、其中，所述任务特征信息至少包括：所述采集任务对应的源数据的预计占用磁盘空间量、所述源数据所在业务系统的预计响应时长，以及执行所述采集任务预计占用的cpu核数；所述节点特征信息至少包括：所述节点的cpu核数、所述节点的存储容量。
10、可选地，所述根据所述节点特征信息和所述任务特征信息，确定各个所述节点执行各个所述采集任务的适配度，包括：
11、对于其中一个节点，确定所述节点的cpu核数与所述存储容量的乘积；
12、对于其中一个采集任务，确定所述采集任务的占用磁盘空间量与所述采集任务的cpu核数的和；
13、将所述乘积与所述和的商，确定为所述其中一个节点与所述其中一个采集任务的适配度。
14、可选地，所述根据所述任务特征信息确定所述第一任务编排策略的第一任务效率得分，包括：
15、利用最大最小缩放法，分别将各个所述采集任务的任务特征信息的特征值映射至预设范围内，得到标准化特征值；
16、对于每个节点上分配的多个采集任务，将所述多个采集任务包括的多种类型的任务特征信息分别放入按照特征类别区分的多个特征集合中；
17、对于每个特征集合中的任务特征信息，获取其中最小的标准化特征值；
18、对于每个节点对应的多个特征集合，获取各个所述特征集合中的最小的所述标准化特征值，得到所述节点的多个最小标准化特征值；
19、获取各个所述特征类别的权重；
20、对于各个所述节点，按照所述权重对各个所述特征类别的最小标准化特征值进行加权求和，得到各个所述节点的任务效率得分；
21、将各个所述节点的任务效率得分求和，得到所述第一任务编排策略的第一任务效率得分。
22、可选地，所述任务特征信息包括多种类型，所述预设范围为(0，p)，p＞0，所述利用最大最小缩放法，分别将各个所述采集任务的任务特征信息的特征值映射至预设范围内，得到标准化特征值，包括：
23、获取所述采集任务包括的每个类型的任务特征信息的特征值，得到每个类型所对应的m个采集任务的m个特征值；
24、获取所述m个特征值中的最大特征值和最小特征值；
25、对于所述m个特征值中的每个特征值，确定所述特征值与所述最小特征值的第一差、所述最大特征值与所述最小特征值的第二差；
26、确定所述第一差和所述第二差的商，并确定所述商与p的乘积；
27、确定p与所述乘积的第三差，将所述第三差作为所述特征值的标准化特征值。
28、可选地，所述基于所述第一任务效率得分和预设的价值计算函数，计算所述第一任务编排策略的第一全局价值，包括：
29、获取上一次迭代得到的上一次任务效率得分，以及上一次迭代得到的上一次全局价值；
30、确定所述第一任务效率得分和所述上一次任务效率得分之间的差；
31、确定所述差和预设的学习率的乘积，并确定所述乘积和所述上一次全局价值的和，得到所述第一任务编排策略的第一全局价值；所述学习率为位于0与1之间的小数。
32、可选地，所述根据所述适配度和所述节点当前的资源可用性确定下一步任务编排策略，包括：
33、根据所述第一任务编排策略构建第一任务分配表，所述第一任务分配表的每行对应一个节点被分配的多个采集任务；
34、从所述第一任务分配表中随机确定一个目标采集任务，计算将所述目标采集任务的位置移动到各个相邻的新位置上之后，所述目标采集任务与各个所述新位置对应的节点的适配度，得到多个适配度；
35、对所述多个适配度进行排序，并获取最高适配度对应位置处的节点当前的空闲磁盘空间和空闲cpu核数；
36、若所述空闲磁盘空间大于或等于所述目标采集任务的预计占用磁盘空间量，且所述空闲cpu核数大于或等于所述目标采集任务的预计占用的cpu核数，则将所述最高适配度对应的位置作为目标位置；
37、在所述第一任务分配表中，将所述目标位置上的原采集任务与所述目标采集任务对调位置，得到下一步任务分配表；
38、将所述下一步任务分配表所表证的任务编排策略作为下一本文档来自技高网...
【技术保护点】
1.一种数据采集任务编排方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述节点特征信息和所述任务特征信息，确定各个所述节点执行各个所述采集任务的适配度，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述任务特征信息确定所述第一任务编排策略的第一任务效率得分，包括：
4.根据权利要求3所述的方法，其特征在于，所述任务特征信息包括多种类型，所述预设范围为(0，P)，P＞0，所述利用最大最小缩放法，分别将各个所述采集任务的任务特征信息的特征值映射至预设范围内，得到标准化特征值，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一任务效率得分和预设的价值计算函数，计算所述第一任务编排策略的第一全局价值，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据所述适配度和所述节点当前的资源可用性确定下一步任务编排策略，包括：
7.根据权利要求6所述的方法，其特征在于，在将所述目标位置上的原采集任务与所述目标采集任务对调位置之前，还包括：
8.
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一项所述的数据采集任务编排方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一项所述的数据采集任务编排方法。
...【技术特征摘要】
1.一种数据采集任务编排方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述节点特征信息和所述任务特征信息，确定各个所述节点执行各个所述采集任务的适配度，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述任务特征信息确定所述第一任务编排策略的第一任务效率得分，包括：
4.根据权利要求3所述的方法，其特征在于，所述任务特征信息包括多种类型，所述预设范围为(0，p)，p＞0，所述利用最大最小缩放法，分别将各个所述采集任务的任务特征信息的特征值映射至预设范围内，得到标准化特征值，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一任务效率得分和预设的价值计算函数，计算所述第一任务编排策略的第一全局价值，包括：
6.根据权利要求1所述的方法，其特征在于，所述根...
【专利技术属性】
技术研发人员：章寒冰，叶吉超，黄慧，徐永海，胡鑫威，张程翔，丁宁，季奥颖，王笑棠，娄冰，汪华，陈冰恽，潘昭光，朱利锋，吴新华，
申请(专利权)人：国网浙江省电力有限公司丽水供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。