基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法技术

本发明专利技术涉及一种基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法，是通过估计采集物联网感知传感器测量误差的标准差，结合高斯过程建模理论以及自回归模型表征的动态系统方法，给出观测数据有效时间序列数据的预测值及其不确定性度量，并根据上述信息进行判断决策出，数据是否为缺值或野值数据，并相应进行数据补齐。本发明专利技术是一种概率非参数化预测方法，通过训练集学习具有跟踪系统动态的特点，能依据对预测值得不确定性和传感器的标定标准差，对数据异常和数据缺失情况及时加以判断预警和数据补齐,预测误差小，精确度高。本发明专利技术用于物联网自动观测数据的质量控制，能确保采集数据的准确性。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及一种，是通过估计采集物联网感知传感器测量误差的标准差，结合高斯过程建模理论以及自回归模型表征的动态系统方法，给出观测数据有效时间序列数据的预测值及其不确定性度量，并根据上述信息进行判断决策出，数据是否为缺值或野值数据，并相应进行数据补齐。本专利技术是一种概率非参数化预测方法，通过训练集学习具有跟踪系统动态的特点，能依据对预测值得不确定性和传感器的标定标准差，对数据异常和数据缺失情况及时加以判断预警和数据补齐,预测误差小，精确度高。本专利技术用于物联网自动观测数据的质量控制，能确保采集数据的准确性。【专利说明】
本专利技术属于物联网数据处理领域，具体涉及到一种，用于物联网自动观测数据的质量控制。 技术背景 农业生产周期长、影响因子复杂，要了解其因果关系十分困难，通过大数据技术促进农业生产与发展的潜力已经初现。随着精准农业、智慧农业、物联网和云计算的快速发展，农业数据也呈现出爆炸式增长。物联网已经成为农业大数据最重要的数据采集工具之 O 现代农业中大量运用了各类传感器实现大田种植、设施园艺和水产养殖等农业信息多种相关变量的全天候、多尺度实时观测感知。这些获取的农业大数据信息多是非平稳时间序列数据，能够反应农业系统的动态特性，经过数据清洗或融合等处理后，可实现农业产前、产中和产后的过程监控和科学决策。然而，农业系统或观测环境的不确定性、生物对象的复杂性、电子仪器或传感器的不稳定性以及传输压缩与重构误差等因素使得观测的非线性时间序列数据存在着测量误差或野值，甚至关键数据丢失，使得农业生产决策或研究分析缺乏确切数据支持。因此农业自动观测的时间序列数据中的非完整数据的不确定性度量与预测对于农业生产分析以及基础科研数据应用非常重要。 农业系统或生物对象检测获取的绝大多数实际的时间序列数据往往呈现出高度非线性，即存在趋势、季节变动、循环波动和不规则波动等4种特征。传统时间序列预测有自回归滑动平均(ARMA)、卡尔曼滤波、神经网络等方法。而ARMA实现简单，但存在低阶模型预测精度低、高阶模型参数确定难度大的不足；而神经网络法存在收敛速度慢、隐层节点数选取难、训练数据大等缺陷；卡尔曼滤波实时性好，但存在对复杂非线性系统预测精度低等问题。因此传统时间序列数据预测方法的准确度不高，并且上述方法都缺乏对预测结果的不确定性度量。因此针对农业物联网采集的非平稳时间序列数据，迫切需要专利技术一种对预测数据具有不确定性度量的方法，给出了动态时间序列数据的缺值预测和野值剔除方法。该方法对提高农业物联网信息采集服务器端的时间序列数据的观测质量有重要意义。
技术实现思路
本专利技术是为解决物联网自动观测数据中出现的数据缺失和野值问题而专利技术的一种基于高斯过程的物联网数据不确定性度量、缺值预测与野值剔除方法，用于物联网采集服务器端的自动观测数据的质量控制。 本专利技术涉及的一种采用的技术方案: 该方法采用高斯过程建模理论以及自回归模型表征的动态系统方法，具体步骤如下: (I)采集物联网感知传感器测量误差的标准差 依据物联网感知传感器的量程范围，制定标定试验方案，通过物联网感知传感器测量标准物理量，统计经传感器感知和物联网、广域通讯网传输的测量数据的误差，计算出标定试验方案中所检测量的测量误差的标准差σ ; (2)采集物联网感知实时数据 利用前端农业信息感知传感器和农业物联网获得农业系统的实时数据，经广域通讯网络将数据传输到物联网数据采集服务器端，得到实时时间序列存入服务器相应数据库中； (3)逐个对实时数据进行基于高斯过程的回归分析 服务器端得数据质量控制进程对时间序列进行逐个进行数据判断:以该数据为中心取其时间序列数据的前后数据为高斯过程的训练集，采用高斯过程学习方法，获得该段时间序列数据的高斯过程回归模型，以需补齐数据的时间节点为输入，应用该高斯过程回归模型进行预测，给出相应的预测均值和预测方差。 所述的训练数据集一般取为该时间序列数据的一个周期的数据采集量。 所述的高斯过程学习方法中的协方差函数定义如下:各向同性距离度量的自动相关性确定的指数平方协方差函数，即高斯核，用于系统观测数据的预测。 【权利要求】1.，其特征在于包括以下步骤: (1)采集物联网感知传感器测量误差的标准差 依据物联网感知传感器的量程范围，制定标定试验方案，通过物联网感知传感器测量标准物理量，统计经传感器感知和物联网、广域通讯网传输的测量数据的误差，计算出标定试验方案中所检测量的测量误差的标准差σ ; (2)采集物联网感知实时数据 利用前端农业信息感知传感器和农业物联网获得农业系统的实时数据，经广域通讯网络将数据传输到物联网数据采集服务器端，得到实时时间序列存入服务器相应数据库中； (3)逐个对实时数据进行基于高斯过程的回归分析 服务器端得数据质量控制进程对时间序列进行逐个进行数据判断:以该数据为中心取其时间序列数据的前后数据为高斯过程的训练集，采用高斯过程学习方法，获得该段时间序列数据的高斯过程回归模型，以需补齐数据的时间节点为输入，应用该高斯过程回归模型进行预测，给出相应的预测均值和预测方差； (4)逐个对数据进行缺失或野值判断，并进行数据补齐 若该数据值为缺失数据标示，以上步预测均值作为数据补齐值；否则以预测方差为依据进行野值数据判断:若判断为野值数据，删除原数据，并进入(5)进行数据补齐，否则为正常数据，放弃数据校正。2.根据权利要求1所述的，其中步骤(3)所述的训练数据集一般取为该时间序列数据的一个周期的数据采集量; 所述的高斯过程学习方法中的协方差函数定义如下:各向同性距离度量的自动相关性确定的指数平方协方差函数，即高斯核:其中，L是感知信息的维度，X1感知信息的第I维监测值；巧是信号方差，通常初始化为1，以及w是各维度特征的标度因子，可通过高斯过程学习获得。3.根据权利要求1所述的，其中步骤(4)所述的野值判断方法将综合考虑单步预测的均值及方差形成的野值判断阈值与实时采样的数据比较而得，若采样数据超出判断阈值，即认为该采样数据为野值，否者为正常值:其中P取值可依据物联网感知传感器在其量程范围内的标定数据的标准差给出，并以上浮标准差5~15倍为宜，其倍数选取受采样数据的时变范围、采样周期、外部驱动或干扰等因素影响。【文档编号】G06Q50/02GK104200113SQ201410459194【公开日】2014年12月10日 申请日期:2014年9月10日 优先权日:2014年9月10日 【专利技术者】苑进, 刘雪美, 王侃, 胡敏, 刘成良 申请人:山东农业大学本文档来自技高网...

【技术保护点】
基于高斯过程的物联网数据不确定性度量、预测与野值剔除方法，其特征在于包括以下步骤：(1)采集物联网感知传感器测量误差的标准差依据物联网感知传感器的量程范围，制定标定试验方案，通过物联网感知传感器测量标准物理量，统计经传感器感知和物联网、广域通讯网传输的测量数据的误差，计算出标定试验方案中所检测量的测量误差的标准差σ；(2)采集物联网感知实时数据利用前端农业信息感知传感器和农业物联网获得农业系统的实时数据，经广域通讯网络将数据传输到物联网数据采集服务器端，得到实时时间序列存入服务器相应数据库中；(3)逐个对实时数据进行基于高斯过程的回归分析服务器端得数据质量控制进程对时间序列进行逐个进行数据判断：以该数据为中心取其时间序列数据的前后数据为高斯过程的训练集，采用高斯过程学习方法，获得该段时间序列数据的高斯过程回归模型，以需补齐数据的时间节点为输入，应用该高斯过程回归模型进行预测，给出相应的预测均值和预测方差；(4)逐个对数据进行缺失或野值判断，并进行数据补齐若该数据值为缺失数据标示，以上步预测均值作为数据补齐值；否则以预测方差为依据进行野值数据判断：若判断为野值数据，删除原数据，并进入(5)进行数据补齐，否则为正常数据，放弃数据校正。...

【技术特征摘要】

【专利技术属性】
技术研发人员：苑进，刘雪美，王侃，胡敏，刘成良，
申请(专利权)人：山东农业大学，
类型：发明
国别省市：山东;37