农业物联网数据流异常实时检测处理方法及装置制造方法及图纸

本发明专利技术提供的一种农业物联网数据流异常实时检测处理方法及装置，在该方法中，首先根据采集数据的特征周期和采集的时间间隔确定滑动窗口的大小，再根据滑动窗口中的历史采集数据预测当前时刻传感器采集的测量值以及预测区间；接着将当前时刻实际采集的实际测量值与预测区间相比，若未落入预测区间内，则说明当前时刻实际采集的数据为异常数据，从而实现对异常数据的检测。此外，本发明专利技术提供的方法在判定当前时刻数据为异常数据后，利用得到的预测值来替代异常数据，从而可以实现对异常数据的处理，有效提高采集的数据流的准确性，为设备的自动控制和有效的数据分析提供有力的数据支持。

【技术实现步骤摘要】

本专利技术属于计算机
，特别涉及一种农业物联网数据流异常实时检测处理方法及装置。
技术介绍
物联网已广泛应用于畜禽养殖、设施园艺、水产养殖等农业生产中，成为获取数据的重要手段之一。在农业物联网中，感知设备定期测量设备状态和环境参数，其采集的时间序列数据具有无穷性、动态性、时空相关性等特征，并以数据流的形式传输至数据处理系统。但是农业物联网部署的环境比较恶劣，比如畜禽养殖场所粉尘较多，水产养殖物联网主要部署在海水或淡水养殖池中，环境潮湿，网络设备容易损坏；同时，由于农业生产的广阔性，物联网网络覆盖面积广、设备分散，因此在这样的环境中需要通过无线网络来传输数据。然而由于无线网络中的传感器设备的性能不够稳定，时长会发生数据传输网络故障，从而使得异常数据的产生现象时有发生，导致数据质量下降，无法保证设备的自动控制和有效的数据分析。因此，如何快速、有效地对物联网数据流进行异常数据检测是一个亟待解决的问题。现有技术中，对于物联网数据流的异常数据检测的方法一般多注重于根据数据流的某一特点进行着重处理。然而这样的方法无法同时兼顾物联网数据流实时性和检测准确性等特点，使得接收到的数据流的准确性以及完整性依然没有得到有效的提升。
技术实现思路
本专利技术的一个目的在于，提供一种农业物联网数据流异常实时检测处理方法及装置，用于克服采用现有的异常数据检测方法得到的数据准确性、实时性不够的缺陷。第一方面，本专利技术提供了一种农业物联网数据流异常实时检测处理方法，包括：根据农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q；其中，所述滑动窗口的大小q，用于限定所述滑动窗口内包含的采集的历史数据的个数；在物联网数据流中采集到的数据向前滑动到下一时刻时，根据所述滑动窗口内的历史数据，获取当前时刻传感器采集的预测值以及预测区间；在判断获知当前时刻传感器采集的实际测量值未落入所述预测区间内时，则将当前时刻实际测量值分类为异常数据，并将所述预测值作为当前时刻传感器采集的数据；更新所述滑动窗口；其中，当物联网数据流中采集到的数据由tN-1时刻向前滑动到tN时刻时，根据所述滑动窗口内包含的历史采集数据，获取当前时刻传感器采集的预测值以及预测区间的步骤包括：根据滑动窗口中包含的tN-q时刻至tN-1时刻采集的q个历史数据，基于预设的预测模型，获取tN时刻传感器采集的预测值以及预测区间；相应的，更新所述滑动窗口的步骤包括：将所述tN时刻传感器采集的数据添加至滑动窗口中，删除滑动窗口中的tN-q时刻的采集数据。可选地，所述根据农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q的步骤包括：根据农业物联网数据流中采集数据的特征周期T以及相邻两次采集的时间间隔Δt，基于下式获得滑动窗口的大小q：q=∫tt+Tlog2T/Δt]]>其中，T表示农业物联网中数据流中采集数据的特征周期，Δt表示物联网传感器采集数据的时间间隔。可选地，所述根据滑动窗口中包含的tN-q时刻至tN-1时刻采集的q个历史数据，基于预设的预测模型，获取tN时刻传感器采集的预测值以及预测区间的步骤包括：根据滑动窗口中包含的tN-q时刻至tN-1时刻采集的q个历史数据，构建非线性支持向量回归模型，获取tN时刻传感器采集的预测值以及预测区间。可选地，所述方法还包括：在判断获知当前时刻采集的实际测量值缺失时，将所述预测值作为当前时刻传感器的采集数据。可选地，所述方法还包括：在判断获知当前时刻传感器的实际测量值落入所述预测区间时，将所述实际测量值作为当前时刻传感器的采集数据。第二方面，本专利技术提供了一种农业物联网数据流异常实时检测处理装置，包括：滑动窗口大小获取模块，用于根据农业物联网数据流采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q；其中，所述滑动窗口的大小q，用于限定所述滑动窗口内包含的历史数据个数；采集数据预测模块，用于在所述滑动窗口向前滑动一时间间隔时，根据所述滑动窗口内的历史数据，获取当前时刻传感器采集的预测值以及预测区间；采集数据分类与处理模块，用于在获知本时刻传感器的实际测量值未落入所述预测区间内时，将该时刻实际测量值分类为异常数据，并将所述预测值作为当前时刻传感器的采集数据；窗口更新模块，用于更新所述滑动窗口；其中，当物联网数据流中采集到的数据由tN-1时刻向前滑动到tN时刻时时，所述采集数据预测模块，进一步用于：根据滑动窗口中包含的tN-q时刻至tN-1时刻采集的q个历史数据，基于预设的预测模型，获取tN时刻传感器采集的预测值以及预测区间；相应的，所述窗口更新模块，进一步用于：将所述tN时刻传感器采集的数据添加至滑动窗口中，删除滑动窗口中的tN-q时刻的采集数据。可选地，所述滑动窗口大小获取模块，进一步用于：农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔Δt，基于下式获得滑动窗口的大小q：q=∫tt+Tlog2T/Δt]]>其中，T表示农业物联网中数据流中采集数据的特征周期，Δt表示物联网传感器采集数据的时间间隔。可选地，所述采集数据预测模块，进一步用于：根据滑动窗口中包含的tN-q时刻至tN-1时刻采集的q个历史数据，构建非线性支持向量回归模型，获取tN时刻传感器采集的预测值以及预测区间可选地，所述采集数据分类与处理模块，进一步用于：在判断获知当前时刻采集的实际测量值缺失时，将所述预测值作为当前时刻传感器的采集数据。可选地，所述采集数据分类与处理模块，进一步用于：在判断获知当前时刻传感器的实际测量值落入所述预测区间时，将所述实际测量值作为当前时刻传感器的采集数据。本专利技术实施例提供的农业物联网数据流异常实时检测处理方法中，首先根据采集的周期和间隔获得滑动窗口的大小，再根据滑动窗口中的历史采集数据预测当前时刻采集的预测值以及预测区间；接着将当前时刻实际采集的实际测量值与预测区间相比，若未落入预测区间内，则说明当前时刻实际采集的数据为异常数据，从而实现对异常数据的检测。此外，本专利技术提供的方法在判定当前时刻数据为异常数据后，利用得到的预测值来替代异常数据，从而可以实现对异常数据的处理，有效提高采集的数据流的准确性，为设备的自动控制和有效的数据分析提供有力的数据支持。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些示例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的农业物联网数据流异常实时检测处理方法实施例流程图；图2是本专利技术提供的农业物联网数据流异常实时检测处理装置实施例结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。第一方面，本专利技术实施例提供了一种农业物联网数据流异常实时检测处理方法，如图1所示，包括：S1、根据农本文档来自技高网...

【技术保护点】
一种农业物联网数据流异常实时检测处理方法，其特征在于，包括：根据农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q；其中，所述滑动窗口的大小q，用于限定所述滑动窗口内包含的采集的历史数据的个数；在物联网数据流中采集到的数据向前滑动到下一时刻时，根据所述滑动窗口内的历史数据，获取当前时刻传感器采集的预测值以及预测区间；在判断获知当前时刻传感器采集的实际测量值未落入所述预测区间内时，则将当前时刻实际测量值分类为异常数据，并将所述预测值作为当前时刻传感器采集的数据；更新所述滑动窗口；其中，当物联网数据流中采集到的数据由tN‑1时刻向前滑动到tN时刻时，根据所述滑动窗口内包含的历史采集数据，获取当前时刻传感器采集的预测值以及预测区间的步骤包括：根据滑动窗口中包含的tN‑q时刻至tN‑1时刻采集的q个历史数据，基于预设的预测模型，获取tN时刻传感器采集的预测值以及预测区间；相应的，更新所述滑动窗口的步骤包括：将所述tN时刻传感器采集的数据添加至滑动窗口中，删除滑动窗口中的tN‑q时刻的采集数据。

【技术特征摘要】
1.一种农业物联网数据流异常实时检测处理方法，其特征在于，包括：根据农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q；其中，所述滑动窗口的大小q，用于限定所述滑动窗口内包含的采集的历史数据的个数；在物联网数据流中采集到的数据向前滑动到下一时刻时，根据所述滑动窗口内的历史数据，获取当前时刻传感器采集的预测值以及预测区间；在判断获知当前时刻传感器采集的实际测量值未落入所述预测区间内时，则将当前时刻实际测量值分类为异常数据，并将所述预测值作为当前时刻传感器采集的数据；更新所述滑动窗口；其中，当物联网数据流中采集到的数据由tN-1时刻向前滑动到tN时刻时，根据所述滑动窗口内包含的历史采集数据，获取当前时刻传感器采集的预测值以及预测区间的步骤包括：根据滑动窗口中包含的tN-q时刻至tN-1时刻采集的q个历史数据，基于预设的预测模型，获取tN时刻传感器采集的预测值以及预测区间；相应的，更新所述滑动窗口的步骤包括：将所述tN时刻传感器采集的数据添加至滑动窗口中，删除滑动窗口中的tN-q时刻的采集数据。2.根据权利要求1所述的方法，其特征在于，所述根据农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q的步骤包括：根据农业物联网数据流中采集数据的特征周期T以及相邻两次采集的时间间隔△t，基于下式获得滑动窗口的大小q：其中，T表示农业物联网中数据流中采集数据的特征周期，Δt表示物联网传感器采集数据的时间间隔。3.根据权利要求1所述的方法，其特征在于，所述根据滑动窗口中包含的tN-q时刻至tN-1时刻采集的q个历史数据，基于预设的预测模型，获取tN时刻传感器采集的预测值以及预测区间的步骤包括：根据滑动窗口中包含的tN-q时刻至tN-1时刻采集的q个历史数据，构建非线性支持向量回归模型，获取tN时刻传感器采集的预测值以及预测区间。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在判断获知当前时刻采集的实际测量值缺失时，将所述预测值作为当前时刻传感器的采集数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：在判断获知当前时刻传感器的实际测量值...

【专利技术属性】
技术研发人员：段青玲，肖晓琰，张磊，王剑秦，魏芳芳，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：北京;11