【技术实现步骤摘要】
本专利技术涉及工业大数据云计算，具体涉及一种基于云边协同的工业大数据计算系统。
技术介绍
1、云计算基于资源虚拟化技术，将集中式的海量、异构资源池聚合，提供按需使用、按量付费的使用模式，向用户交付低成本、高可靠的计算服务。边缘计算在接近数据源的位置部署网络、计算和存储平台，实现了数据的就近计算和服务请求的就近响应，可显著优化网络传输成本、降低应用响应时间。使用单一的云或边缘环境往往无法满足工业应用程序个性化的资源使用需求和服务质量约束。为此，云边协同环境可以将多个边缘和云端环境的资源打通，支持了应用程序和服务的跨区域部署、服务的就近访问和负载均衡，可更好的满足工业应用程序的需求。相关技术中，基于边缘资源存储和处理工业大数据需要配置大量的边缘服务器，多个边缘往往是独立运作的，无法支持跨区域的任务调度和资源分配的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于云边协同的工业大数据计算系统，以解决基于边缘资源存储和处理工业大数据需要配置大量的边缘服务器，多个边缘往往是独立运作的，无法支持跨区域的任务调度和资源分配的问题。
2、根据第一方面，本实施例提供一种基于云边协同的工业大数据计算系统，系统包括：
3、工业现场应用模块，用于采集工业现场数据和获取用户提交的应用程序；
4、边缘端，用于接收工业现场数据，并对工业现场数据进行局部存储、压缩脱敏、数据判断和实时计算；
5、云端，与边缘端连接，用于执行大规模数据处理和大数据可视化分析；
6、任务调度模块，用于基于应用程序，通过任务调度队列执行任务调度管理，再进行任务数据管理；
7、资源管理模块，与云端、边缘端和工业现场应用模块连接，用于进行云端资源管理、边缘端资源管理、工业设备管理、异构算力管理、网络管理和存储管理。
8、通过执行上述实施方式，不但可以依托云端资源进行工业大数据处理，保障数据实时性，降低高昂的数据传输和存储开销，能够灵活满足工业大数据处理得成本和效率需求，同时还可支持跨区域的任务调度和资源分配的问题。
9、在一种可选的实施方式中，任务调度模块包括：任务调度单元和数据管理单元。
10、在一种可选的实施方式中，数据管理单元用于跟踪数据源和所述应用程序的输出，与任务调度单元之间协同工作，在应用程序调度时，负责数据源接入或数据迁移拷贝或应用程序输出对接。
11、在一种可选的实施方式中，任务调度单元用于当调度时间窗计时结束时，创建调度计划以调度用户提交的应用程序，调度计划初始化完成后，执行一个操作动作，用于交换活跃队列和未来队列的角色，在完成角色交换后，通过调度计划开始调度当前活跃队列中的应用程序。
12、在一种可选的实施方式中，应用程序包括：应用程序名称、提交者id、优先级和应用程序配置；应用程序配置包括数据源、作业需求、链路需求、数据输出；数据源包括原始数据存储路径，存储空间大小、消息中间件规格作为其依赖的资源；作业需求包括作业列表、每个作业的cpu和/或内存和/或gpu资源需求；链路需求包括源作业和/或目的作业和/或所需带宽。
13、在一种可选的实施方式中，任务调度单元基于应用程序的配置，执行第一调度任务、第二调度任务、第三调度任务、第四调度任务；
14、其中，所述第一调度任务是：对所述应用程序进行作业拆分，得到拆分后的作业若将组合为一个子应用程序，记为执行调度评分算法并获取调度评分score1；
15、所述第二调度任务是：若n＝2，则将组合为两个子应用程序，任意取n1使得1<n1<n，令编号为[1,n1]的作业组合为第一个子应用程序，编号为[n1+1,n]的作业组合为第二个子应用程序，子应用程序的组合方式共有n种，分别记为分别为此n种组合执行调度评分算法，并获取调度评分acore2,1，acore2,2，…，score2,n，取score2＝max(acore2,1，score2,2，…，acore2,n)；
16、所述第三调度任务是：若n>2，将组合为两个子应用程序，任意取n1使得1<n1<n，令编号为[1,n1]的作业组合为第一个子应用程序，编号为[n1+1,n]的作业组合为第二个子应用程序，子应用程序的组合方式共有n种，分别记为分别为此n种组合执行调度评分算法，并获取调度评分acore2,1，score2,2，…，score2,n，取score2＝max(score2,1，score2,2，…，score2,n)；再将组合为三个子应用程序，任意取得两个值n1、n2使得n1+n2＝n，将编号为[1,n1]的作业组合为第一个子应用程序，将编号为[n1+1，n2]的作业组合为第二个应用程序，编号为[n2+1,n]的作业组合为第三个应用程序，则子应用程序的组合总共有种方式，分别记为分别为每种组合执行调度评分算法、获取调度评分取score3＝max
17、所述第四调度任务是：将组合为n个子应用程序，即每个作业作为一个子应用程序，记为总共只有一种组合方式，执行调度评分算法并获取调度评分score4；
18、从(score1，score2，score3，score4)选取最大值，并基于最大值对应的调度方案作为最终调度方案，以部署所述应用程序。
19、通过执行上述实施方式，在调度工业应用程序时，有利于适应复杂的作业、链路结构及其异构资源需求，支持跨站点资源调度，能够以较低的计算复杂度完成工业大数据应用程序调度，可有效应对工业应用程序的复杂作业、链路结构及异构资源需求。
20、在一种可选的实施方式中，所述调度评分算法通过如下步骤执行：
21、输入的应用程序记为appi,j，切分后的n个子应用程序记为app1，…appn；
22、计算各个子应用程序所需的资源需求；
23、取site1＝site(doi,j)，站点site1的宿主机服务器为针对n个子应用程序，分别根据各个子应用程序的资源需求r1，…rn，按照best-fit策略计算各个子应用程序对应的第一评分，得到一组应用作业对应服务器的映射关系；
24、取site2＝site(dsi,j)，站点site2的宿主机服务器为针对n个子应用程序，分别根据各个子应用程序的资源需求r1，…rn，按照best-fit策略计算各个子应用程序对应的第二评分，得到一组应用作业对应服务器的映射关系；
25、在所述第一评分和所述第二评分中选取最大值作为最终的所述调度评分。
26、通过执行上述实施方式，可以较低的计算复杂度实现调度，为工业应用程序分配cpu、网络带宽、gpu等多种异构资源时。
27、在一种可选的实施方式中，任务调度单元还用于获取应用程序在当前时间窗的资源利用率，若资源利用率高于上限阈值，则调度时间窗加计数，若资源利用率低于下限阈值，则调度时间窗减计数，直到达到计数阈值为止。
2本文档来自技高网...
【技术保护点】
1.一种基于云边协同的工业大数据计算系统，其特征在于，所述系统包括：
2.根据权利要求1所述的系统，其特征在于，所述任务调度模块包括：任务调度单元和数据管理单元。
3.根据权利要求2所述的系统，其特征在于，所述数据管理单元用于跟踪数据源和所述应用程序的输出，与所述任务调度单元之间协同工作，在所述应用程序调度时，负责数据源接入或数据迁移拷贝或应用程序输出对接。
4.根据权利要求2所述的系统，其特征在于，所述任务调度单元用于当调度时间窗计时结束时，创建调度计划以调度用户提交的所述应用程序，所述调度计划初始化完成后，执行一个操作动作，用于交换活跃队列和未来队列的角色，在完成角色交换后，通过所述调度计划开始调度当前活跃队列中的所述应用程序。
5.根据权利要求1所述的系统，其特征在于，所述应用程序包括：应用程序名称、提交者ID、优先级和应用程序配置；所述应用程序配置包括数据源、作业需求、链路需求、数据输出；所述数据源包括原始数据存储路径，存储空间大小、消息中间件规格作为其依赖的资源；所述作业需求包括作业列表、每个作业的CPU和/或内存和/或G
6.根据权利要求1至5中任一项所述的系统，其特征在于，所述任务调度单元基于所述应用程序的配置，执行第一调度任务、第二调度任务、第三调度任务、第四调度任务；
7.根据权利要求6所述的系统，其特征在于，所述调度评分算法通过如下步骤执行：
8.根据权利要求2所述的系统，其特征在于，所述任务调度单元还用于获取所述应用程序在当前时间窗的资源利用率，若所述资源利用率高于上限阈值，则调度时间窗加计数，若所述资源利用率低于下限阈值，则调度时间窗减计数，直到达到计数阈值为止。
9.根据权利要求4所述的系统，其特征在于，所述任务调度单元用于基于历史调度时间窗间隔、历史活跃队列长度、当前活跃队列长度，确定下一次的未来调度时间窗间隔；
10.根据权利要求1所述的系统，其特征在于，所述资源管理模块包括：云端资源管理单元、边缘端资源管理单元、工业设备管理单元、异构算力管理单元、网络管理单元和存储管理单元。
...【技术特征摘要】
1.一种基于云边协同的工业大数据计算系统，其特征在于，所述系统包括：
2.根据权利要求1所述的系统，其特征在于，所述任务调度模块包括：任务调度单元和数据管理单元。
3.根据权利要求2所述的系统，其特征在于，所述数据管理单元用于跟踪数据源和所述应用程序的输出，与所述任务调度单元之间协同工作，在所述应用程序调度时，负责数据源接入或数据迁移拷贝或应用程序输出对接。
4.根据权利要求2所述的系统，其特征在于，所述任务调度单元用于当调度时间窗计时结束时，创建调度计划以调度用户提交的所述应用程序，所述调度计划初始化完成后，执行一个操作动作，用于交换活跃队列和未来队列的角色，在完成角色交换后，通过所述调度计划开始调度当前活跃队列中的所述应用程序。
5.根据权利要求1所述的系统，其特征在于，所述应用程序包括：应用程序名称、提交者id、优先级和应用程序配置；所述应用程序配置包括数据源、作业需求、链路需求、数据输出；所述数据源包括原始数据存储路径，存储空间大小、消息中间件规格作为其依赖的资源；所述作业需求包括作业列...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。