基于自适应约简阈值的物联网感知数据约简系统及方法技术方案

本发明专利技术公开一种基于自适应约简阈值的物联网感知数据约简系统及方法，系统包括数据加载模块、自适应数据约简模块和数据重建模块；采用这个系统进行数据约简的方法基于实时的物联网感知数据，在传感器端通过概念漂移检测对数据变化趋势建模，基于漂移检测动态自适应确定卡尔曼滤波器的约简阈值，基于卡尔曼滤波器的数据估计与实际值之差约简数据并将约简后的数据和建模的数据趋势上传至边缘端，在边缘端根据约简后数据与数据趋势重建数据，最终达到在保证数据准确率和数据质量的前提下减少数据采集和传输的目的，同时可以显著降低传感器节点的能源消耗以及边缘端数据存储。感器节点的能源消耗以及边缘端数据存储。感器节点的能源消耗以及边缘端数据存储。

【技术实现步骤摘要】
基于自适应约简阈值的物联网感知数据约简系统及方法


[0001]本专利技术涉及网络数据通信
，尤其涉及一种基于自适应约简阈值的物联网感知数据约简系统及方法。

技术介绍

[0002]随着物联网技术的发展，移动设备、传感器等物联网设备实时采集、传输大量感知数据。边缘计算强调网络边缘上的计算和存储，靠近边缘端的传感器设备频繁采集并上传数据会极大消耗传感器的能量。其中传感器通信消耗的能量最大，通常传输1比特数据消耗的能量比一个32位计算设备计算一次消耗的能量高1000倍。边缘计算下的传感器节点的能量仅依靠电池，一旦部署，通常无法充电。面对能耗、传输量和存储等约束，如何在保证边缘计算数据准确性的前提下，减少传感器端与边缘端之间的数据通信，是边缘计算下数据约简问题的关键。
[0003]基于卡尔曼滤波器的数据约简方法主要是通过建立基于时间序列的预测模型，使其能够在数据约简误差阈值内预测传感器数值。该模型同时位于传感器节点和边缘端，在传感器节点判断预测值满足所需的精度时无需传输数据，否则上传感知数据到边缘端并更新模型。误差阈值较小时，会有大量的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应约简阈值的物联网感知数据约简系统，其特征在于，系统包括数据加载模块、自适应数据约简模块和数据重建模块；所述数据加载模块加载多种不同类型的感知数据，并将感知数据加载至内存中供自适应数据约简模块进行处理；所述自适应数据约简模块接收数据加载模块所收集到的感知数据信息，分析感知数据漂移情况，并动态生成卡尔曼滤波器阈值进行数据约简；所述数据重建模块包括边缘端数据重建单元，所述边缘端数据重建单元基于自适应数据约简模块的约简结果和感知数据漂移情况，根据卡尔曼滤波器重建还原数据。2.根据权利要求1所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述多种不同类型的感知数据包括：(1)txt、csv和xlsx格式的静态数据；(2)存储于数据库中的静态数据；(3)实时采集的流式动态数据。3.根据权利要求1所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述自适应数据约简模块包括概念漂移检测单元、动态阈值调整单元和设备端数据约简单元；所述概念漂移检测单元用于检测感知数据是否发生概念漂移，将漂移判断结果提供给动态阈值调整单元；所述动态阈值调整单元基于漂移结果动态生成卡尔曼滤波器的阈值；所述设备端数据约简单元基于动态生成的卡尔曼滤波器阈值基于数据预测的方法进行数据约简。4.根据权利要求3所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述数据重建模块还包括离线数据约简效果分析单元，根据数据约简率和重建准确率分析数据约简和重建的效果。5.根据权利要求4所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述数据重建模块还包括传感器端模型更新单元，基于分析后的约简效果，提供对传感器端自适应数据约简模块的更新辅助，具体包括概念漂移检测单元、动态阈值调整单元的更新。6.采用权利要求1至5中任意一项所述的基于自适应约简阈值的物联网感知数据约简系统进行数据约简的方法，其特征在于，包括如下步骤：步骤1：将数据库和文件形式的静态数据或动态采集的物联网感知数据统一加载到内存中；步骤2：对存储到内存中的物联网感知数据进行概念漂移检测，并基于概念漂移检测结果动态自适应生成卡尔曼滤波器的阈值；步骤3：根据动态生成的卡尔曼滤波器阈值，在设备端对步骤1中的物联网感知数据进行数据约简；步骤4：根据步骤3所得的约简后的感知数据，在边缘端重建原始的物联网感知数据；步骤5：对比步骤4得到的重建后的感知数据与原始数据，计算数据约简率和重建准确率。
7.根据权利要求6所述的采用基于自适应约简阈值的物联网感知...

【专利技术属性】
技术研发人员：张瀚铎，那俊，张斌，邓心，
申请(专利权)人：东北大学，
类型：发明
国别省市：