一种应用于边缘计算网关的数据处理方法及系统技术方案

本发明专利技术公开了一种应用于边缘计算网关的数据处理方法及系统，包括获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；当当前存储空间的空间容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器，以使云端服务器根据当前日志的日志等级执行相应的决策策略。本发明专利技术由于解决了现有智能执行系统缺乏对设备数据采集端的实时管理，无法实时对异常事件进行甄别和反馈的问题。

A data processing method and system applied to edge computing gateway

【技术实现步骤摘要】
一种应用于边缘计算网关的数据处理方法及系统
本专利技术涉及通信网络
，特别是涉及一种应用于边缘计算网关的数据处理方法及系统。
技术介绍
工业控制系统是对诸如图像、语音信号等大数据量、高速率传输的要求，以及太网与控制网络的结合。随着计算机技术、通信技术和控制技术的发展，传统的控制领域正经历着一场前所未有的变革，开始向网络化方向发展。控制系统的结构从最初的CCS(计算机集中控制系统)，到第二代的DCS(分散控制系统)，发展到现在流行的FCS(现场总线控制系统)。然而，随着工业设备智能化程度的不断提高，控制系统需要海量的数据进行分析与储存、对网络带宽提出了巨大的挑战，因而边缘计算应用而生。众所周知的，边缘计算是指在靠近终端物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。然而，由于边缘计算理论概念提出时间较短，还没有相应的边缘计算行业标准、规范和协议，各种行业厂商结合自身原有技术储备和产品线规划进行边缘计算产品应用方案的探索，因此提供的边缘计算方案没有没有技术和产品共性，无法标准化批量实施，为客户提供“降能减人增值”的服务。目前工业应用的计算机系统是基于生产加工流程工艺定制开发的智能执行系统。根据不同应用场景衍生出PLC、DCS和SCADA等方案产品，以上类型产品结合边缘计算网关可以实现工业数据上云等IOT互联网应用，但都缺乏对设备数据采集端的实时管理能力，无法实时对异常事件进行甄别和反馈。
技术实现思路
为了解决上述问题，本专利技术的目的是提供一种能够针对采集设备端或数据来源端的原始数据不断进行精度优化、异常故障排除、同类/异类数据分类管理，在提升数据分析和应用管理高效的基础下保证企业客户的通信和信息安全的性价比应用于边缘计算网关的数据处理方法及系统。根据本专利技术提供的应用于边缘计算网关的数据处理方法，包括：获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；当当前存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器；所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录。根据本专利技术提供的应用于边缘计算网关的数据处理方法，通过将各工业设备的工业应用数据进行数据预处理，以避免由于边缘计算网关对各工业设备采集的数据类型不一、格式复杂、异常排查问难的问题；通过将数据预处理后的工业应用数据转发至多个数据分支，以使各数据分支进行相应的分支数据处理，提升总体数据处理的效率并降低后端数据处理负荷；通过对存储空间中的空间容量进行实时监测，以避免操作系统和工业设备应用软件随着使用时间累积会增加越来越多进程和线程，增加边缘计算网关软硬件的负荷，引发进程和线程的冲突和竞争，出现卡顿、挂死和延时等问题现象，通过在存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器，以便于在保存历史数据的前提下对空间进行清理与分析；此外，本专利技术还可以对当前生产系统的监控模型进行实时优化，对存储空间的进行动态分配，且能够避免各存储空间存在精度和存储容量的差异，从而导致存储精度不一致或精度差异问题引发的功能单元之间的运算不同步问题，因此本专利技术能够针对采集设备端或数据来源端的原始数据不断进行精度优化、异常故障排除、同类/异类数据分类管理，在提升数据分析和应用管理高效的基础下保证企业客户的通信和信息安全的性价比。另外，根据本专利技术上述的应用于边缘计算网关的数据处理方法，还可以具有如下附加的技术特征：进一步地，所述方法还包括：获取生产系统中各工业设备进行应用操作时所产生的工业应用数据及空间容量，并将所述工业应用数据及空间容量发送至云端服务器；接收所述云端服务器根据各生产设备的工业应用数据及空间容量下发的特征增强信息，并将进行特征增强后的工业应用数据传送至云端服务器，所述云端服务器根据增强后的工业应用数据数据创建多个中间进程，并通过各中间进程向对应的工业设备下发训练神经网络模型；所述各中间进程通过梯度下降法对各自的训练神经网络模型进行更新，并将更新后的训练神经网络模型传送至云端服务器，以使所述云端服务器通过整合模型得到当前生产系统的监控模型。进一步地，将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理的方法包括：对所述工业应用数据进行数据备份与格式转换，以得到格式统一、具有时间戳的工业应用数据；将具有时间戳的工业应用数据进行分类存储后转发至对应的数据分支，以使各数据分支对其接收的工业应用数据进行对应运算分析处理。进一步地，所述数据分支包括数据传输分支及数据运算分支，所述数据传输分支，用于将获取的工业应用数据实时的传输至云端服务器；所述数据运算分支，用于与数据传输分支做联动配合操作，实时侦测各工业设备与云端服务器通信状态，当发生通信异常状态时，进行本地数据累积存储并持续呼叫云端服务器恢复连接，直至云端服务器再次连接后实现断点续传，并对异常数据本地进行报警及发展趋势分析。进一步地，将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测的方法包括：获取各数据分支中工业应用数据的本地存储位置、存储周期及剩余存储空间的空间容量；当进行分支数据处理后的工业应用数据的数据量是小于剩余存储空间的空间容量时，将该工业应用数据存储于剩余存储空间内，并对该存储空间的空间容量进行实时监测。进一步地，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器的方法包括：当当前存储空间的容量不足时，判断当前所需存储的工业应用数据的数据量的大小；根据当前数据量的大小进行存储空间中全部工业应用数据、备份数据或异常数据的清除，并将对应清除的全部工业应用数据、备份数据或异常数据，以及对应的空间预警日志传输至云端服务器，并保存传输过程中及之后新采集的工业应用数据。进一步地，根据当前日志的日志等级执行相应的决策策略的方法包括：当当前日志的日志等级为致命、严重或故障时，所述云端服务器执行关闭系统、工业设备自恢复、保持现状、日志记录上报的决策策略；当当前日志的日志等级为一般时，所述云端服务器执行保持现状、日志记录上报的决策策略；当当前日志的日志等级为提示/操作记录时，本文档来自技高网...

【技术保护点】
1.一种应用于边缘计算网关的数据处理方法，其特征在于，包括：/n获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；/n将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；/n当当前存储空间的空间容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器；/n所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录。/n

【技术特征摘要】
1.一种应用于边缘计算网关的数据处理方法，其特征在于，包括：
获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；
将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；
当当前存储空间的空间容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器；
所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录。


2.根据权利要求1所述的应用于边缘计算网关的数据处理方法，其特征在于，所述方法还包括：
获取生产系统中各工业设备进行应用操作时所产生的工业应用数据及空间容量，并将所述工业应用数据及空间容量发送至云端服务器；
接收所述云端服务器根据各生产设备的工业应用数据及空间容量下发的特征增强信息，并将进行特征增强后的工业应用数据传送至云端服务器，所述云端服务器根据增强后的工业应用数据数据创建多个中间进程，并通过各中间进程向对应的工业设备下发训练神经网络模型；
所述各中间进程通过梯度下降法对各自的训练神经网络模型进行更新，并将更新后的训练神经网络模型传送至云端服务器，以使所述云端服务器通过整合模型得到当前生产系统的监控模型。


3.根据权利要求1所述的应用于边缘计算网关的数据处理方法，其特征在于，将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理的方法包括：
对所述工业应用数据进行数据备份与格式转换，以得到格式统一、具有时间戳的工业应用数据；
将具有时间戳的工业应用数据进行分类存储后转发至对应的数据分支，以使各数据分支对其接收的工业应用数据进行对应运算分析处理。


4.根据权利要求3所述的应用于边缘计算网关的数据处理方法，其特征在于，所述数据分支包括数据传输分支及数据运算分支，
所述数据传输分支，用于将获取的工业应用数据实时的传输至云端服务器；
所述数据运算分支，用于与数据传输分支做联动配合操作，实时侦测各工业设备与云端服务器通信状态，当发生通信异常状态时，进行本地数据累积存储并持续呼叫云端服务器恢复连接，直至云端服务器再次连接后实现断点续传，并对异常数据本地进行报警及发展趋势分析。


5.根据权利要求1所述的应用于边缘计算网关的数据处理方法，其特征在于，将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测的方法包括：
获取各数据分支中工业应用数据的本地存...

【专利技术属性】
技术研发人员：洪蒙纳，任炳宇，李继庚，
申请(专利权)人：博依特广州工业互联网有限公司，
类型：发明
国别省市：广东;44