一种物联网边缘网关的数据预处理方法和系统技术方案

本发明专利技术涉及一种物联网边缘网关的数据预处理方法；所述方法，包括：通过远端服务器配置数据预处理模块；所述数据预处理模块包括异常数据处理单元、平稳数据处理单元和本地数据处理单元；所述远端服务器将所述数据预处理模块下发至边缘网关；所述边缘网关将所述数据预处理模块储存至本地存储器；所述边缘网关依据所述数据预处理模块对物联网终端装置上报的数据进行预处理；所述边缘网关将所述预处理的数据存储到所述本地存储器，并同时上报到远端服务器。通过本发明专利技术，在保证数据可靠性的前提下，节省传输带宽和远端服务器存储资源，减轻远端服务器的负荷。服务器的负荷。服务器的负荷。

【技术实现步骤摘要】
一种物联网边缘网关的数据预处理方法和系统


[0001]本专利技术涉及物联网
，具体涉及一种物联网边缘网关的数据预处理方法和系统。

技术介绍

[0002]传统的物联网网关即边缘网关，是连接物联网感知网络与远端服务器的桥梁，通过协议适配和转换，利用现有的成熟的有线或无线网络，实现感知网络与数据网络，以及不同类型感知网络之间的融合通信。另外，边缘网关还具备设备管理功能，运营商通过物联网网关可以管理底层的各感知节点，掌握各节点的相关信息，并实现远程控制。
[0003]但是，边缘网关在数据处理上目前主要采取透传模式，对各个物联网终端采集并上报的数据只采取直接转发，对明显异常或无效数据未做出预先处理，这无疑非必要并额外的增加了传输带宽以及远端服务器的负荷。
[0004]随着数字经济进一步的蓬勃发展，物联网终端数量将日益庞大，汇聚到远端服务器的数据量也将是海量，这对边缘网关至远端服务器间的数据带宽,远端服务器的性能、存储空间以及造价都提出了严峻的挑战。
[0005]申请日为2021年8月18日，申请公布日为2021年11月19日本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物联网边缘网关的数据预处理方法，其特征在于，通过远端服务器配置数据预处理模块；所述数据预处理模块包括异常数据处理单元、平稳数据处理单元和本地数据处理单元；所述远端服务器将所述数据预处理模块下发至边缘网关；所述边缘网关将所述数据预处理模块储存至本地存储器；所述边缘网关依据所述数据预处理模块对物联网终端装置上报的数据进行预处理；所述边缘网关将所述预处理后的数据存储到本地存储器，并同时上报到所述远端服务器。2.根据权利要求1所述的物联网边缘网关的数据预处理方法，其特征在于，所述异常数据处理单元的具体方法如下：根据应用场景和历史数据，设定数据异常判定阈值、异常恢复尝试阈值和异常采集频度；设置异常恢复尝试次数用于统计异常恢复尝试的次数；所述异常采集频度大于正常的数据采集频度；所述边缘网关依据所述数据异常判定阈值判定数据是否异常；如果数据正常且异常恢复尝试次数为零，则不做处理；如果数据正常且所述异常恢复尝试次数不为零，则向所述远端服务器发送告警恢复信息，同时将异常恢复尝试次数置为零，并通知所述物联网终端装置恢复正常采集频度；如果数据异常，当上述数据异常是首次发生的，则通知所述物联网终端装置采取所述异常采集频度采集数据，并向所述远端服务器上报告警信息；每经历一次数据异常恢复尝试，异常恢复尝试次数加1；如果所述异常恢复尝试次数超出所述异常恢复尝试阈值，则再次上报告警信息并等待人工恢复，否则，继续异常恢复尝试。3.根据权利要求1所述的物联网边缘网关的数据预处理方法，其特征在于，所述平稳数据处理单元的具体方法如下：依据应用场景设置正常上报频度；依据应用场景和最近采集到的多个数据设置平稳度阈值、平稳保持阈值和平稳上报频度；设置平稳维持长度用于统计平稳维持的时间周期数或次数；所述平稳上报频度小于所述正常上报频度；当数据波动低于平稳度阈值，所述平稳维持长度加1，否则，平稳维持长度恢复为零且采用所述正常上报频度进行数据上报；当所述平稳维持长度大于所述平稳保持阈值，数据采用所述平稳上报频度进行上报，否则，数据采取所述正常上报频度进行上报。4.根据权利要...

【专利技术属性】
技术研发人员：张福军，张科，
申请(专利权)人：绿城科技产业服务集团有限公司，
类型：发明
国别省市：