基于自适应约简阈值的物联网感知数据约简系统及方法技术方案

本发明专利技术公开一种基于自适应约简阈值的物联网感知数据约简系统及方法，系统包括数据加载模块、自适应数据约简模块和数据重建模块；采用这个系统进行数据约简的方法基于实时的物联网感知数据，在传感器端通过概念漂移检测对数据变化趋势建模，基于漂移检测动态自适应确定卡尔曼滤波器的约简阈值，基于卡尔曼滤波器的数据估计与实际值之差约简数据并将约简后的数据和建模的数据趋势上传至边缘端，在边缘端根据约简后数据与数据趋势重建数据，最终达到在保证数据准确率和数据质量的前提下减少数据采集和传输的目的，同时可以显著降低传感器节点的能源消耗以及边缘端数据存储。感器节点的能源消耗以及边缘端数据存储。感器节点的能源消耗以及边缘端数据存储。

【技术实现步骤摘要】
基于自适应约简阈值的物联网感知数据约简系统及方法


[0001]本专利技术涉及网络数据通信
，尤其涉及一种基于自适应约简阈值的物联网感知数据约简系统及方法。

技术介绍

[0002]随着物联网技术的发展，移动设备、传感器等物联网设备实时采集、传输大量感知数据。边缘计算强调网络边缘上的计算和存储，靠近边缘端的传感器设备频繁采集并上传数据会极大消耗传感器的能量。其中传感器通信消耗的能量最大，通常传输1比特数据消耗的能量比一个32位计算设备计算一次消耗的能量高1000倍。边缘计算下的传感器节点的能量仅依靠电池，一旦部署，通常无法充电。面对能耗、传输量和存储等约束，如何在保证边缘计算数据准确性的前提下，减少传感器端与边缘端之间的数据通信，是边缘计算下数据约简问题的关键。
[0003]基于卡尔曼滤波器的数据约简方法主要是通过建立基于时间序列的预测模型，使其能够在数据约简误差阈值内预测传感器数值。该模型同时位于传感器节点和边缘端，在传感器节点判断预测值满足所需的精度时无需传输数据，否则上传感知数据到边缘端并更新模型。误差阈值较小时，会有大量的数据被视作异常数据传输到边缘端，此时，数据约简率较低，数据重建准确率较高。在卡尔曼滤波器模型运行中，误差阈值越大，数据约简率越高，数据重建后准确率会随之越来越低，卡尔曼滤波阈值对数据约简效果起关键影响。然而，现有技术对于数据趋势和规律频繁变化的物联网环境适应性不足，固定的阈值设定无法满足适应不同的物联网感知数据变化，也无法满足高数据约简率和高数据重建准确率的平衡。同时，传统卡尔曼滤波器方法无法根据现实环境中具体的数据变化规律动态调整数据约简率，因此边缘端的重建数据与实际数据存在差距，影响了数据应用。

技术实现思路

[0004]针对上述现有技术的不足，本专利技术提供一种基于自适应约简阈值的物联网感知数据约简系统及方法。
[0005]为解决上述技术问题，本专利技术所采取的技术方案是：一种基于自适应约简阈值的物联网感知数据约简系统，系统包括数据加载模块、自适应数据约简模块和数据重建模块；
[0006]所述数据加载模块加载多种不同类型的感知数据，并将感知数据加载至内存中供自适应数据约简模块进行处理；
[0007]所述多种不同类型的感知数据包括：
[0008](1)txt、csv和xlsx格式的静态数据；
[0009](2)存储于数据库中的静态数据；
[0010](3)实时采集的流式动态数据。
[0011]所述自适应数据约简模块接收数据加载模块所收集到的感知数据信息，分析感知数据漂移情况，并动态生成卡尔曼滤波器阈值进行数据约简；
[0012]进一步的，所述自适应数据约简模块包括概念漂移检测单元、动态阈值调整单元和设备端数据约简单元；
[0013]所述概念漂移检测单元用于检测感知数据是否发生概念漂移，将漂移判断结果提供给动态阈值调整单元；
[0014]所述动态阈值调整单元基于漂移结果动态生成卡尔曼滤波器的阈值；
[0015]所述设备端数据约简单元基于动态生成的卡尔曼滤波器阈值基于数据预测的方法进行数据约简。
[0016]所述数据重建模块包括边缘端数据重建单元，所述边缘端数据重建单元基于自适应数据约简模块的约简结果和感知数据漂移情况，根据卡尔曼滤波器重建还原数据。
[0017]进一步的，所述数据重建模块还包括离线数据约简效果分析单元，根据数据约简率和重建准确率分析数据约简和重建的效果。
[0018]进一步的，所述数据重建模块还包括传感器端模型更新单元，基于分析后的约简效果，提供对传感器端自适应数据约简模块的更新辅助，具体包括概念漂移检测单元、动态阈值调整单元的更新。
[0019]另一方面，本专利技术还提供一种采用上述基于自适应约简阈值的物联网感知数据约简系统进行数据约简的方法，包括如下步骤：
[0020]步骤1：将数据库和文件形式的静态数据或动态采集的物联网感知数据统一加载到内存中；
[0021]步骤2：对存储到内存中的物联网感知数据进行概念漂移检测，并基于概念漂移检测结果动态自适应生成卡尔曼滤波器的阈值，过程如下：
[0022]步骤2.1：存储当前误差阈值e_max、阈值最小值min_error、阈值最大值max_error；
[0023]步骤2.2：通过概念漂移检测算法检测到物联网感知数据在短时间内的变化，当发生概念漂移时，减小当前误差阈值，并将阈值最小值设置为当前误差阈值e_max和阈值最小值min_error中的最小值min{e_max，min_error}，从而保证数据约简阈值大于约简阈值的最小值；
[0024]步骤2.3：没有发生概念漂移时，提高当前误差阈值，并将阈值最大值设置为当前误差阈值e_max和阈值最大值max_error中的最大值max{e_max，max_error}，从而保证数据约简阈值小于约简阈值的最大值。
[0025]步骤3：根据动态生成的卡尔曼滤波器阈值，在设备端对步骤1中的物联网感知数据进行数据约简，过程如下：
[0026]步骤3.1：缓存当前收到的时序传感器感知数据集{z＝z1,z2,
…
,z
t
‑1}；
[0027]步骤3.2：根据最新数据与步骤3.1缓存的物联网感知数据计算当前数据趋势：
[0028][0029]其中，zt表示t时刻的传感器感知数据实际值，dt表示t时刻的数据趋势值，α是范围[0,1]的平滑权重，值接近1表示对最近趋势的偏好；
[0030]步骤3.3：基于步骤2中自适应生成的卡尔曼滤波器阈值e_max，通过卡尔曼滤波器计算估计值xt，若t时刻传感器感知数据实际值zt与卡尔曼滤波器估计值xt之差et小于当
前误差阈值e_max，则证明当前时刻数据不需要上传至云端，通过卡尔曼滤波器进行约简；否则，将当前数据zt与数据趋势dt发送到边缘端。
[0031]步骤4：根据步骤3所得的约简后的感知数据，在边缘端重建原始的物联网感知数据，过程如下：
[0032]步骤4.1：若设备端上传了数据z
t
，则接收设备端上传的数据z
t
并更新当前数据趋势d
t
，；
[0033]步骤4.2：若没有接收到设备端实时上传的数据z
t
，则基于当前数据趋势和卡尔曼滤波器分别计算估计值re_data和x
t
；当两者之差大于卡尔曼滤波器阈值e_max时，存储由数据趋势重建的感知数据re_data作为当前重建数据；否则将卡尔曼滤波器生成的估计值x
t
作为当前重建数据；
[0034]步骤4.3：当设备端停止采集数据或静态感知数据处理完毕时，跳转至步骤5。
[0035]步骤5：对比步骤4得到的重建后的感知数据与原始数据，计算数据约简率和重建准确率。
[0036]采用上述技术方案所产生的有益效果在于：
[0037]1、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应约简阈值的物联网感知数据约简系统，其特征在于，系统包括数据加载模块、自适应数据约简模块和数据重建模块；所述数据加载模块加载多种不同类型的感知数据，并将感知数据加载至内存中供自适应数据约简模块进行处理；所述自适应数据约简模块接收数据加载模块所收集到的感知数据信息，分析感知数据漂移情况，并动态生成卡尔曼滤波器阈值进行数据约简；所述数据重建模块包括边缘端数据重建单元，所述边缘端数据重建单元基于自适应数据约简模块的约简结果和感知数据漂移情况，根据卡尔曼滤波器重建还原数据。2.根据权利要求1所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述多种不同类型的感知数据包括：(1)txt、csv和xlsx格式的静态数据；(2)存储于数据库中的静态数据；(3)实时采集的流式动态数据。3.根据权利要求1所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述自适应数据约简模块包括概念漂移检测单元、动态阈值调整单元和设备端数据约简单元；所述概念漂移检测单元用于检测感知数据是否发生概念漂移，将漂移判断结果提供给动态阈值调整单元；所述动态阈值调整单元基于漂移结果动态生成卡尔曼滤波器的阈值；所述设备端数据约简单元基于动态生成的卡尔曼滤波器阈值基于数据预测的方法进行数据约简。4.根据权利要求3所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述数据重建模块还包括离线数据约简效果分析单元，根据数据约简率和重建准确率分析数据约简和重建的效果。5.根据权利要求4所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述数据重建模块还包括传感器端模型更新单元，基于分析后的约简效果，提供对传感器端自适应数据约简模块的更新辅助，具体包括概念漂移检测单元、动态阈值调整单元的更新。6.采用权利要求1至5中任意一项所述的基于自适应约简阈值的物联网感知数据约简系统进行数据约简的方法，其特征在于，包括如下步骤：步骤1：将数据库和文件形式的静态数据或动态采集的物联网感知数据统一加载到内存中；步骤2：对存储到内存中的物联网感知数据进行概念漂移检测，并基于概念漂移检测结果动态自适应生成卡尔曼滤波器的阈值；步骤3：根据动态生成的卡尔曼滤波器阈值，在设备端对步骤1中的物联网感知数据进行数据约简；步骤4：根据步骤3所得的约简后的感知数据，在边缘端重建原始的物联网感知数据；步骤5：对比步骤4得到的重建后的感知数据与原始数据，计算数据约简率和重建准确率。
7.根据权利要求6所述的采用基于自适应约简阈值的物联网感知...

【专利技术属性】
技术研发人员：张瀚铎，那俊，张斌，邓心，
申请(专利权)人：东北大学，
类型：发明
国别省市：