一种基于物联网数据采集的方法技术

本发明专利技术公开了一种基于物联网数据采集的方法，物联网传感器采用自适应采集策略以固定时间间隔进行数据采集物联网数据，将采集的数据根据定制协议和数据接入网管；物联网网关收集与其相连的对应物联网传感器上报的物联数据，对数据进行异常数据检测后压缩，将压缩数据存储至PB级数据库；物联网数据采集平台收集所有物联网网关上报的物联网数据。本发明专利技术通过采用自适应采集策略实现物联网数据采集，同时进行异常数据检测，使得最终数据分析结果更加准确。准确。

【技术实现步骤摘要】
一种基于物联网数据采集的方法


[0001]本专利技术涉及一种基于物联网数据采集的方法。

技术介绍

[0002]随着物联网技术的不断发展，物联网环境感知和数据处理技术得到了研究人员的广泛关注。在物联网接入设备数量不断增长的背景下，物联网数据采集主要包括数据采集、数据传输、数据存储和数据分析，数据采集时会产生大量的冗余数据，同时造成了能量的浪费，数据压缩时若存在异常数据，会对最终分析的结果产生影响，因此，确有必要对现有技术进行改进以解决现有技术之不足。

技术实现思路

[0003]本专利技术是为了解决上述现有技术存在的问题而提供一种基于物联网数据采集的方法。
[0004]本专利技术所采用的技术方案有：一种基于物联网数据采集的方法，包括1）物联网传感器采用固定时间间隔进行数据采集物联网数据，将采集的数据根据定制协议和数据接入网管；2）物联网网关收集与其相连的对应物联网传感器上报的物联数据，对数据进行异常数据检测后压缩，将压缩数据存储至PB级数据库；3）物联网数据采集平台收集所有物联网网关上报的物联网数据。
[0005]进一步地，步骤2）中，数据压缩方式为：采用主成分分析方法（KPCA）对数据压缩；或者，采用直观协方差无关增量式主成分分析算法（CCIPCA）对数据压缩；或者，采用基于增量学习的主成分分析方法（IPCA）对数据压缩。
[0006]进一步地，步骤2）中，异常数据检测是通过采用滑动窗口算法对采集的数据进行异常检测。
[0007]进一步地，步骤1）中，在物联网传感器采用固定时间间隔进行数据采集物联网数据时，通过采用自适应采集策略实现物联网数据采集，所述自适应采集策略为：物联网传感器获取的数据超出该传感器设定的阈值范围，则传感器的节点进行连续不间断的数据收集与发送，反之传感器节点则按照预定频率进行收集与发送；在数据异常时，通过设定的高传输频率提高节点的感知精度，反之通过设定的低传输频率以优化节点的整体能耗。该策略实现了传感器节点的自我控制，可以避免数据的冗余，减少节点的传输的时间以降低节点的功耗。
[0008]本专利技术具有如下有益效果：1）本专利技术进行异常数据检测，其是通过采用滑动窗口算法对采集的数据进行异常检测，滑动窗口法的基本思想是把每个数据集点及其附近的数据点作为一个整体考虑，从
而避免少数离群值的影响。滑动窗口方法通过假设一个定长或者不定长度的窗口，以固定的步长截取一段时间数据序列，在连续的时序数据的基础上获得多段数据序列以便分析。
[0009]2）本专利技术通过采用自适应采集策略实现物联网数据采集，所述自适应采集策略为：物联网传感器获取的数据超出该传感器设定的阈值范围，则传感器的节点进行连续不间断的数据收集与发送，反之传感器节点则按照预定频率进行收集与发送；在数据异常时，通过设定的高传输频率提高节点的感知精度，反之通过设定的低传输频率以优化节点的整体能耗。
具体实施方式
[0010][0011]本专利技术一种基于物联网数据采集的方法，包括1）物联网传感器采用固定时间间隔进行数据采集物联网数据，将采集的数据根据定制协议和数据接入网管；2）物联网网关收集与其相连的对应物联网传感器上报的物联数据，对数据进行异常数据检测后压缩，将压缩数据存储至PB级数据库；数据压缩方式为：采用主成分分析方法对数据压缩；或者，采用直观协方差无关增量式主成分分析算法对数据压缩；或者，采用基于增量学习的主成分分析方法对数据压缩。
[0012]3）物联网数据采集平台收集所有物联网网关上报的物联网数据。
[0013]由于物联网会产生大量的流式数据，尤其是在数据采集应用中，对于物联网数据采集，大量的单一目标数据一般以时间相关的数据序列的形式存储，该序列代表了该数据标的在这一段时间内的变化趋势。对时间序列进行处理时，序列中异常数值会影响整个序列处理的结果，例如在计算序列均值或者方差时，由于异常值的存在，这些参数的估计会变得不准确。为了避免一些离群数值对整体序列分析的结果产生影响，需要对采集的数据进行异常的检测。
[0014]本专利技术异常数据检测是通过采用滑动窗口算法对采集的数据进行异常检测，滑动窗口法的基本思想是把每个数据集点及其附近的数据点作为一个整体考虑，从而避免少数离群值的影响。滑动窗口方法通过假设一个定长或者不定长度的窗口，以固定的步长截取一段时间数据序列，在连续的时序数据的基础上获得多段数据序列以便分析。
[0015]数据采集时，一般以固定的时间间隔采集数据并且上传。固定的采集间隔需要考虑能量消耗和数据敏感度的问题，这些问题主要包括:当数据采集系统监控的环境都处于稳定状态时，此时环境指标参数的变化是非常缓慢的，因此采用固定间隔执行数据采集会产生大量的冗余数据，同时造成了能量的浪费；如果环境处于急剧变化的状态中，此时如果设置的采集时间间隔如果过大，势必会导致系统收集的数据较少，使得系统无法捕捉到环培的变化趋势，而这些变化是数据采集系统必须要准确捕捉的: 如果为了提高监测精度而设置较小的采集间隔进行频繁的数据采集，虽然数据的变化更加容易被捕捉，但是无法满足降低节点的能量消耗的要求，而且也会面临数据冗余的问题。
[0016]本专利技术通过采用自适应采集策略实现物联网数据采集，所述自适应采集策略为：
物联网传感器获取的数据超出该传感器设定的阈值范围，则传感器的节点进行连续不间断的数据收集与发送，反之传感器节点则按照预定频率进行收集与发送；在数据异常时，通过设定的高传输频率提高节点的感知精度，反之通过设定的低传输频率以优化节点的整体能耗。
[0017]以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下还可以作出若干改进，这些改进也应视为本专利技术的保护范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物联网数据采集的方法，其特征在于：包括1）物联网传感器采用自适应采集策略以固定时间间隔进行数据采集物联网数据，将采集的数据根据定制协议和数据接入网管；2）物联网网关收集与其相连的对应物联网传感器上报的物联数据，对数据进行异常数据检测后压缩，将压缩数据存储至PB级数据库；3）物联网数据采集平台收集所有物联网网关上报的物联网数据。2.如权利要求1所述的于物联网数据采集的方法，其特征在于：步骤2）中，数据压缩方式为：采用主成分分析方法对数据压缩；或者，采用直观协方差无关增量式主成分分析算法对数据压缩；或者，...

【专利技术属性】
技术研发人员：张庆，杨绪聪，
申请(专利权)人：南京圣女果信息科技有限公司，
类型：发明
国别省市：