一种基于工业互联网平台的大数据处理方法和系统技术方案

本发明专利技术提供一种基于工业互联网平台的大数据处理方法和系统，涉及工业互联网领域，该系统包括：数据采集模块，包括多个设备数据采集单元及多个区域数据采集单元；数据传输模块，包括多个边缘服务器，边缘服务器上运行有虚拟主机，用于接收对应的至少一个设备数据采集单元采集的工业设备的状态数据和

【技术实现步骤摘要】
一种基于工业互联网平台的大数据处理方法和系统


[0001]本专利技术涉及工业互联网领域，特别涉及一种基于工业互联网平台的大数据处理方法和系统
。

技术介绍

[0002]近年来，新一轮科技革命和产业变革快速发展，互联网由消费领域向生产领域快速延伸，工业经济由数字化向网络化
、
智能化深度拓展，互联网创新发展与新工业革命形成历史性交汇，催生了工业互联网
。
工业互联网
(Industrial Internet)
是新一代信息通信技术与工业经济深度融合的新型基础设施
、
应用模式和工业生态，通过对人
、
机
、
物
、
系统等的全面连接，构建起覆盖全产业链
、
全价值链的全新制造和服务体系，为工业乃至产业数字化
、
网络化
、
智能化发展提供了实现途径，是第四次工业革命的重要基石
。
[0003]常规的工业监控系统以
PLC
为核心，主要以工控功能为主，
PLC
处理模块上连接一些检测模块，进行信号采集与数据分析
。
现有的基于
PLC
核心的工业监控系统中，若要进行工业互联网升级，需要在各个连接节点上布置网关，针对不同的数据信号，还需要加装对应数据采集板，这也就是现有技术中常用的基于“PLC+
数据采集板
+
网关”的工业监控系统，其存在着兼容性差，信号同步差的问题，同时在这种传统的工业监控系统中，难以搭建多媒体检测平台，如视频信号
、
音频信号等，信号之间的协调差，难以交叉分析处理
。
这种传统架构的工业监控系统，成本高，体积大，系统复杂，且存在着功能受限
、
数据传输速率低且信号延迟同步率差的问题，已经难以适应目前越来越智能的工业场景
。
[0004]因此，需要提供一种基于工业互联网平台的大数据处理方法和系统，用于提高工业设备和作业人员监控的效率及质量
。

技术实现思路

[0005]本说明书实施例之一提供一种基于工业互联网平台的大数据处理系统，包括：数据采集模块，包括多个设备数据采集单元及多个区域数据采集单元，其中，所述多个设备数据采集单元用于采集多个工业设备的状态数据，所述多个区域数据采集单元用于采集多个目标区域的作业人员的状态数据；数据传输模块，包括多个边缘服务器，每个所述边缘服务器上运行有至少一个虚拟主机，每个所述虚拟主机对应有至少一个设备数据采集单元和
/
或至少一个区域数据采集单元，所述虚拟主机用于接收对应的所述至少一个设备数据采集单元采集的工业设备的状态数据和
/
或至少一个区域数据采集单元采集的目标区域的作业人员的状态数据，进行数据预处理，生成所述工业设备对应的设备心跳数据包和
/
或所述目标区域对应的区域心跳数据包，并将所述设备心跳数据包和
/
或所述区域心跳数据包上传至数据处理云平台；数据处理模块，包括所述数据处理云平台，用于基于所述设备心跳数据包和
/
或所述区域心跳数据包进行数据分析，确定所述多个工业设备的状态及所述多个目标区域的作业人员的状态
。
[0006]在一些实施例中，所述数据传输模块还包括多个服务器监测单元，一个所述服务
器监测单元对应一个所述边缘服务器，所述服务器监测单元包括服务器监测组件及至少一个虚拟主机监测组件，一个所述虚拟主机监测组件对应所述服务器监测单元对应的所述边缘服务器的一个虚拟主机，其中，服务器监测组件用于获取对应的边缘服务器的状态数据，所述虚拟主机监测组件用于获取对应的虚拟主机的状态数据；所述数据传输模块还包括虚拟主机调度服务器，用于基于所述边缘服务器的状态数据及所述虚拟主机的状态数据，动态调整多个所述虚拟主机与所述多个设备数据采集单元和
/
或多个区域数据采集单元的对应关系
。
[0007]在一些实施例中，所述工业设备的状态数据包括工业设备的多种类型的状态信息，所述目标区域的作业人员的状态数据包括所述目标区域的图像信息；所述虚拟主机进行数据预处理包括：对于对应的每个所述设备数据采集单元，基于所述设备数据采集单元在当前监测周期内采集的工业设备的多种类型的状态信息，生成工业设备的信息矩阵，通过去噪模型对所述工业设备的信息矩阵进行去噪，生成去噪后的工业设备的信息矩阵，并通过补全模型对所述去噪后的工业设备的信息矩阵进行补全，生成补全后的工业设备的信息矩阵；对于对应的每个所述区域数据采集单元，通过图像筛选模型基于预设条件集，对所述区域数据采集单元采集的目标区域的图像信息进行筛选
。
[0008]在一些实施例中，所述虚拟主机进行数据预处理还包括：基于所述补全后的工业设备的信息矩阵，确定所述工业设备的故障概率，当所述工业设备的故障概率大于预设故障概率阈值时，将所述工业设备作为目标工业设备；根据所述目标工业设备的故障概率，确定所述目标工业设备对应的设备数据采集单元的最优数据采集频率；基于所述目标工业设备对应的设备数据采集单元的最优数据采集频率，通过负载预测模型预测所述虚拟主机的未来负载，并将预测的所述虚拟主机的未来负载上传至所述虚拟主机调度服务器；所述虚拟主机调度服务器基于所述边缘服务器的状态数据及所述虚拟主机的状态数据，动态调整多个所述虚拟主机与所述多个设备数据采集单元和
/
或多个区域数据采集单元的对应关系，包括：将上传未来负载的虚拟主机作为目标虚拟主机；基于每个所述边缘服务器的状态数据
、
每个所述虚拟主机的状态数据及所述目标虚拟主机的未来负载，从多个所述虚拟主机中确定待调度的虚拟主机，并对所述待调度的虚拟主机进行调度
。
[0009]在一些实施例中，所述虚拟主机调度服务器基于每个所述边缘服务器的状态数据
、
每个所述虚拟主机的状态数据及所述虚拟主机的未来负载，从多个所述虚拟主机中确定待调度的虚拟主机，包括：基于每个所述边缘服务器的状态数据，确定目标边缘服务器，所述目标边缘服务器上运行的所有虚拟主机均作为待调度的虚拟主机；基于所述目标虚拟主机的未来负载及所述目标虚拟主机的状态数据，判断所述目标虚拟主机是否为待调度的虚拟主机
。
[0010]在一些实施例中，所述虚拟主机调度服务器对所述待调度的虚拟主机进行调度，包括：对于每个所述待调度的虚拟主机，从所述多个边缘服务器中除所述目标边缘服务器和所述待调度的虚拟主机所在的边缘服务器以外的边缘服务器中确定最优边缘服务器，将所述待调度的虚拟主机迁移至所述最优边缘服务器；迁移后的虚拟主机还用于将所述最优数据采集频率下发至所述目标工业设备对应的设备数据采集单元，所述设备数据采集单元还用于按照所述最优数据采集频率采集所述目标工业设备的状态数据
。
[0011]在一些实施例中，所述虚拟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于工业互联网平台的大数据处理系统，其特征在于，包括：数据采集模块，包括多个设备数据采集单元及多个区域数据采集单元，其中，所述多个设备数据采集单元用于采集多个工业设备的状态数据，所述多个区域数据采集单元用于采集多个目标区域的作业人员的状态数据；数据传输模块，包括多个边缘服务器，每个所述边缘服务器上运行有至少一个虚拟主机，每个所述虚拟主机对应有至少一个设备数据采集单元和
/
或至少一个区域数据采集单元，所述虚拟主机用于接收对应的所述至少一个设备数据采集单元采集的工业设备的状态数据和
/
或至少一个区域数据采集单元采集的目标区域的作业人员的状态数据，进行数据预处理，生成所述工业设备对应的设备心跳数据包和
/
或所述目标区域对应的区域心跳数据包，并将所述设备心跳数据包和
/
或所述区域心跳数据包上传至数据处理云平台；数据处理模块，包括所述数据处理云平台，用于基于所述设备心跳数据包和
/
或所述区域心跳数据包进行数据分析，确定所述多个工业设备的状态及所述多个目标区域的作业人员的状态
。2.
根据权利要求1所述的一种基于工业互联网平台的大数据处理系统，其特征在于，所述数据传输模块还包括多个服务器监测单元，一个所述服务器监测单元对应一个所述边缘服务器，所述服务器监测单元包括服务器监测组件及至少一个虚拟主机监测组件，一个所述虚拟主机监测组件对应所述服务器监测单元对应的所述边缘服务器的一个虚拟主机，其中，服务器监测组件用于获取对应的边缘服务器的状态数据，所述虚拟主机监测组件用于获取对应的虚拟主机的状态数据；所述数据传输模块还包括虚拟主机调度服务器，用于基于所述边缘服务器的状态数据及所述虚拟主机的状态数据，动态调整多个所述虚拟主机与所述多个设备数据采集单元和
/
或多个区域数据采集单元的对应关系
。3.
根据权利要求2所述的一种基于工业互联网平台的大数据处理系统，其特征在于，所述工业设备的状态数据包括工业设备的多种类型的状态信息，所述目标区域的作业人员的状态数据包括所述目标区域的图像信息；所述虚拟主机进行数据预处理包括：对于对应的每个所述设备数据采集单元，基于所述设备数据采集单元在当前监测周期内采集的工业设备的多种类型的状态信息，生成工业设备的信息矩阵，通过去噪模型对所述工业设备的信息矩阵进行去噪，生成去噪后的工业设备的信息矩阵，并通过补全模型对所述去噪后的工业设备的信息矩阵进行补全，生成补全后的工业设备的信息矩阵；对于对应的每个所述区域数据采集单元，通过图像筛选模型基于预设条件集，对所述区域数据采集单元采集的目标区域的图像信息进行筛选
。4.
根据权利要求3所述的一种基于工业互联网平台的大数据处理系统，其特征在于，所述虚拟主机进行数据预处理还包括：基于所述补全后的工业设备的信息矩阵，确定所述工业设备的故障概率，当所述工业设备的故障概率大于预设故障概率阈值时，将所述工业设备作为目标工业设备；根据所述目标工业设备的故障概率，确定所述目标工业设备对应的设备数据采集单元的最优数据采集频率；基于所述目标工业设备对应的设备数据采集单元的最优数据采集频率，通过负载预测
模型预测所述虚拟主机的未来负载，并将预测的所述虚拟主机的未来负载上传至所述虚拟主机调度服务器；所述虚拟主机调度服务器基于所述边缘服务器的状态数据及所述虚拟主机的状态数据，动态调整多个所述虚拟主机与所述多个设备数据采集单元和
/
或多个区域数据采集单元的对应关系，包括：将上传未来负载的虚拟主机作为目标虚拟主机；基于每个所述边缘服务器的状态数据
、
每个所述虚拟主机的状态数据及所述目标虚拟主机的未来负载，从多个所述虚拟主机中确定待调度的虚拟主机，并对所述待调度的虚拟主机...

【专利技术属性】
技术研发人员：张星星，邱旭东，施永昌，王彬，钟陈，李婷，
申请(专利权)人：江苏赛西科技发展有限公司，
类型：发明
国别省市：