一种基于云边协同的数据预处理方法和系统技术方案

本发明专利技术公开了一种基于云边协同的数据预处理方法和系统，其中，方法包括：边缘端接收脏数据，进行数据重构，得到重构数据并上传至中心云端；中心云端利用重构数据进行迭代优化，得到优化后的中心云端预处理模型；边缘端进行模型一致性判断，若不一致，则从中心云端加载优化后的中心云端预处理模型进行更新；边缘端接收新的脏数据，进行数据重构，将新的重构数据输入至边缘端预处理模型中进行预处理，得到有效数据。本发明专利技术在中心云端和边缘端部署相同的预处理模型，利用重构数据对中心云端预处理模型进行迭代优化，通过从中心云端加载优化后的中心云端预处理模型的方式，减少了边缘端存储空间压力，并保证了边缘端预处理模型的实时性。

【技术实现步骤摘要】
一种基于云边协同的数据预处理方法和系统
本专利技术涉及数据预处理
，尤其涉及一种基于云边协同的数据预处理方法和系统。
技术介绍
随着工业领域对设备智能化需求的不断增长，以故障诊断和预测性维护为主导的数据驱动型产品的需求量也随之增长。目前市场上所有数据驱动型产品只能利用高质量数据来实现智能化功能和服务，但目前工业领域对数据预处理的研究较少，即便进行了简单的预处理，也仅限于在云端或边缘端对空值和缺失值进行简单处理，并直接将脏数据全部清除。然而，工业数据预处理算法模型需应对工业数据的一致性、缺失值、重复值、异常值、错误值等多种复杂问题，需要持续迭代更新，因此要积累大量脏数据，通过脏数据对模型持续训练和优化，让预处理模型更贴近该应用场景。预处理算法部署在云端，工业数据采集端必须与云端保持实时网络连接，对运营商网络的安全、稳定及可靠性要求高，而且无法满足工业领域实时性要求；预处理算法部署在边缘端，需要在边缘端部署大量的存储和计算资源，对存储空间和计算能力的要求高。现有技术中的数据预处理模型无法有效利用脏数据进行迭代更新，并且单独部署在云端和边缘端均本文档来自技高网...

【技术保护点】
1.一种基于云边协同的数据预处理方法，其特征在于，包括：/n边缘端计算服务器接收采集装置上传的脏数据，并对所述脏数据进行数据重构，得到重构数据，并将所述重构数据上传至中心云端计算服务器；其中，所述边缘端计算服务器与所述中心云端计算服务器预先部署有相同的预处理模型，分别为边缘端预处理模型和中心云端预处理模型；/n所述中心云端计算服务器接收到所述重构数据后，利用所述重构数据对中心云端预处理模型进行迭代优化，得到优化后的中心云端预处理模型；/n所述边缘端计算服务器判断优化后的中心云端预处理模型与所述边缘端预处理模型是否一致，若不一致，则从所述中心云端计算服务器加载优化后的中心云端预处理模型，并对所述...

【技术特征摘要】
1.一种基于云边协同的数据预处理方法，其特征在于，包括：
边缘端计算服务器接收采集装置上传的脏数据，并对所述脏数据进行数据重构，得到重构数据，并将所述重构数据上传至中心云端计算服务器；其中，所述边缘端计算服务器与所述中心云端计算服务器预先部署有相同的预处理模型，分别为边缘端预处理模型和中心云端预处理模型；
所述中心云端计算服务器接收到所述重构数据后，利用所述重构数据对中心云端预处理模型进行迭代优化，得到优化后的中心云端预处理模型；
所述边缘端计算服务器判断优化后的中心云端预处理模型与所述边缘端预处理模型是否一致，若不一致，则从所述中心云端计算服务器加载优化后的中心云端预处理模型，并对所述边缘端预处理模型进行更新；
所述边缘端计算服务器接收新的脏数据，并进行数据重构，并将得到的新的重构数据输入至更新后的边缘端预处理模型中进行预处理，得到有效数据。


2.根据权利要求1所述的基于云边协同的数据预处理方法，其特征在于，所述边缘端计算服务器接收采集装置上传的脏数据，并对所述脏数据进行数据重构，得到重构数据，包括：
获取所述脏数据的类型，并将所述脏数据的类型、时间与所述脏数据进行绑定，并根据如下公式进行数据重构：
y＝DT(x,tx,Tx)
其中，y表示重构数据，x表示输入的脏数据，tx表示脏数据的时间，Tx表示脏数据的类型，DT表示数据重构的映射关系；其中，所述数据重构的映射关系为：y＝[x,tx,Tx]＝[x1,…,xm,tx,Tx]，其中x1表示脏数据x的第一个特征值，xm表示脏数据x的第m个特征值。


3.根据权利要求1所述的基于云边协同的数据预处理方法，其特征在于，所述将所述重构数据上传至中心云端计算服务器，包括：
边缘端计算服务器检测是否与所述中心云端计算服务器处于连接状态；
若所述边缘端计算服务器与所述中心云端计算服务器处于断开状态，则将所述重构数据存储至边缘端存储服务器中，并在所述边缘端计算服务器与所述中心云端计算服务器处于连接状态时将所述重构数据上传至所述中心云端计算服务器；
若所述边缘端计算服务器与所述中心云端计算服务器处于连接状态，则将所述重构数据进行打包处理后，上传至所述中心云端计算服务器。


4.根据权利要求1所述的基于云边协同的数据预处理方法，其特征在于，所述边缘端计算服务器与所述中心云端计算服务器预先部署预处理模型的过程如下：
将标注好的标注数据集和预处理模型输入至所述中心云端计算服务器，并根据所述标注数据集对所述预处理模型进行训练，得到中心云端预处理模型；
所述边缘端计算服务器从所述中心云端计算服务器加载所述中心云端预处理模型，得到与所述中心云端预处理模型相同的边缘端预处理模型。


5.根据权利要求4所述的基于云边协同的数据预处理方法，其特征在于，所述根据所述标注数据集对所述预处理模型进行训练，得到中心云端预处理模型，包括：
将所述标注数据集等分为多个数据块；
依次将每个数据块作为每一轮测试用的测试数据，将其余数据块组合作为每一轮训练用的训练数据；
依次利用每一轮训练用的所述训练数据对所述预处...

【专利技术属性】
技术研发人员：白洁，荆戈，杨华胜，
申请(专利权)人：润联软件系统深圳有限公司，
类型：发明
国别省市：广东;44