【技术实现步骤摘要】
本专利技术属于云计算，具体涉及一种多云环境中敏感数据工作流调度方法及系统。
技术介绍
1、随着云计算的发展，云平台提供了弹性的计算资源，为海量数据的计算任务提供了易访问、可扩展的计算基础设施。特别是在ai等业务越来越广泛应用的现状下，计算任务量级也随之增长，不仅数据计算任务需要在本地集群执行，也需要使用多云环境间联合完成计算任务的执行。
2、多云环境网络间传输的计算任务数据，就产生了数据机密性传输的要求。多云间的任务调度中需要考虑加密、解密的计算任务，在考虑多个计算因子的前提下如何能保证任务高效完成，且不偏离预期完成时间太远，是一个较为有挑战的问题。
3、多云环境涉及敏感数据任务调度，面临环境复杂性高，任务调度难度高，数据安全要求高等问题，同时目前涉及敏感数据安全性的专利不多。如专利cn112685165a提出了一种基于联合强化学习策略的多目标云工作流调度方法，使用模型训练调度模型，但该方法存在复杂性高，且仅能支持固定任务集合，无法支持动态任务实时处理等问题。再如专利cn109495541a提出了基于任务依赖关系有向图无环图的跨数据中心的云服务任务调度，该方法也只能针对固定任务集合，且无法实时变更任务依赖关系，无法满足依赖实时条件调整路由的场景。
技术实现思路
1、本专利技术的目的在于提供一种多云环境中敏感数据工作流调度方法，将敏感数据安全性保障的工作考虑在内，结合动态任务进场的场景，以解决上述
技术介绍
中提出现有技术中的问题。
2、为实现上述目的
3、优选地，所述批量将所述待执行任务集初始化到空闲的所述计算云集群上，包括：在初始化状态下，对计算云集群按照算力进行降序排序，按降序对计算云集群循环，找到优先级最高的任务调度到当前计算云集群上，使用算子t(ci，jk)作为优先级的判定标准。
4、优选地，所述判定标准包括算子的值越小，优先级越高。
5、优选地，所述对计算云集群按照算力进行降序排序，包括：
6、cld＝{c′1，c′2，c′3，...，c′m}
7、按照排序后，对c′1云集群计算算子t(c′1，jk)，由job中选择一个任务jk，令算子取得最小值；
8、式中，cld为云集合，c1表示云集群1的计算能力。
9、优选地，所述算子的计算公式为：
10、
11、式中，jk为c′1云集群执行任务，job为待执行任务集合，e1表示j1的预期结束时间，en为调度中心云节点加密计算能力，de1表示云集群1的解密计算能力，tnow表示当前时间点。
12、优选地，所述按降序对计算云集群循环，包括：
13、按照cld的降序进行循环，对当前循环的c′i云集群，计算算子t(c′i，j′k)；
14、由待执行任务集合job-{jk，jl，...}中选择一个任务j′k，令算子取得最小值，其中{jk，jl，...)为已选定执行集群的任务集合，公式如下：
15、
16、确定c′i云集群执行任务j′k；
17、重复循环，直至判断为无可用云集群，或无积压任务。
18、优选地，判断为所述无可用云集群，或无积压任务后进行任务分配，包括：
19、当前待执行任务集合大于云集群数量，则初始化后执行集合中积压任务；
20、当前待执行任务集合小于等于云集群数量，则初始化后执行集合中无任务。
21、优选地，执行所述集合中积压任务，包括：在云集群中一个云执行完成当前任务过程中，云集合cld中由无空闲云资源变为一个空闲云cp可执行新任务，由待执行任务集合job中选择一个任务执行。
22、优选地，所述由待执行任务集合job中选择一个任务执行，包括：
23、job＝job-{jk，jl，.，..j′k，...)+{js，jt，...}
24、式中，{jk，jl，...，j′k，...}为已经在执行或执行完成的任务，{js，jt，...}为新增任务。
25、优选地，执行所述集合中无任务，包括：在云集合cld中存在一个或多个空闲云集群时，对新进入待执行任务集合job的任务jq选择计算能力最强的集群进行调度。
26、另一方面，本专利技术提出一种多云环境中敏感数据工作流调度系统，包括：
27、集合获取模块，用于以调度中心云集群为中心节点获取待执行任务集合和任务计算云集群；
28、初始化模块，用于批量将所述待执行任务集初始化到空闲的所述计算云集群上，直至无待执行任务或无空闲计算云集群为止，完成初始化任务调度；
29、第一任务调度模块，用于在所述无待执行任务的状态下，任务调度中心集群接到一个新的待执行任务，并将所述待执行任务调度到一个空闲的所述计算云集群上；
30、第二任务调度模块，用于在所述无空闲计算云集群的状态下，当一个所述计算云集群完成当前任务，当前所述计算云集群转换为空闲集群，则从待执行任务重选择一个优先级最高的任务，调度到当前计算云集群上。
31、本专利技术的技术效果和优点：本专利技术提出的一种多云环境中敏感数据工作流调度方法，与现有技术相比，具有以下优点：
32、本专利技术以调度中心云集群为中心节点获取待执行任务集合和任务计算云集群，批量将待执行任务集初始化到空闲的计算云集群上，直至无待执行任务或无空闲计算云集群为止，完成初始化任务调度，在无待执行任务的状态下，任务调度中心集群接到一个新的待执行任务，并将待执行任务调度到一个空闲的计算云集群上，在无空闲计算云集群的状态下，当一个计算云集群完成当前任务，当前计算云集群转换为空闲集群，则从待执行任务重选择一个优先级最高的任务，调度到当前计算云集群上，不仅可以兼容该场景，在无环图中前置任务均执行完成后可将对应任务放入任务候选集中待执行，还同时可以支持其他与该无环图无关任务实时进入任务候选集，可避免计算无效任务，节省计算资源，不仅可支持任务集合实时变化，同时也降低了方案实现的难度，可以快速落地。
本文档来自技高网...【技术保护点】
1.一种多云环境中敏感数据工作流调度方法，其特征在于，包括：
2.根据权利要求1所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述批量将所述待执行任务集初始化到空闲的所述计算云集群上，包括：
3.根据权利要求2所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述判定标准包括算子的值越小，优先级越高。
4.根据权利要求2所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述对计算云集群按照算力进行降序排序，包括：
5.根据权利要求4所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述算子的计算公式为：
6.根据权利要求5所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述按降序对计算云集群循环，包括：
7.根据权利要求6所述的一种多云环境中敏感数据工作流调度方法，其特征在于，判断为所述无可用云集群，或无积压任务后进行任务分配，包括：
8.根据权利要求7所述的一种多云环境中敏感数据工作流调度方法，其特征在于，执行所述集合中积压任务，包括：
9.根据权
10.一种多云环境中敏感数据工作流调度系统，其特征在于，包括：
...【技术特征摘要】
1.一种多云环境中敏感数据工作流调度方法，其特征在于，包括：
2.根据权利要求1所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述批量将所述待执行任务集初始化到空闲的所述计算云集群上，包括：
3.根据权利要求2所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述判定标准包括算子的值越小，优先级越高。
4.根据权利要求2所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述对计算云集群按照算力进行降序排序，包括：
5.根据权利要求4所述的一种多云环境中敏感数据工作流调度方法，其特征在于，所述算子的计算公式为：
<...【专利技术属性】
技术研发人员：胡志恒，张洪国，黄洪，赵素雅，单元元，潘晓东，吴晓清，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。