基于窗口的流式数据缺失处理方法技术

本发明专利技术属于信息检索及其数据库结构技术领域，公开了一种基于窗口的流式数据缺失处理方法，包括：输入需要处理的含有缺失数据的数据流；判断流式数据是否缺失；动态滑动窗口评估；窗口锁定；不完备信息处理；输出处理后的完备数据流结果。通过对流式数据提供滑动窗口，根据数据流的大小动态调整窗口大小；利用数据内部的时间和空间特性对缺失数据进行填补，对流式数据的缺失填补。本发明专利技术具有分类精度较高，运行时间复杂度低，计算资源利用率高等特点，有效的克服了现有处理方法存在的方式单一，时空复杂度高等问题。

Window based processing method for missing data stream

The invention belongs to the technical field of information retrieval and database structure, and discloses a window-based streaming data missing processing method, which comprises: inputting a data stream containing missing data to be processed; judging whether the streaming data is missing; dynamic sliding window evaluation; window locking; incomplete information processing; and output place. The complete data flow after rationale. By providing sliding window for streaming data, the window size can be dynamically adjusted according to the size of the data stream, and the missing data can be filled by the time and space characteristics of the data. The invention has the advantages of high classification accuracy, low running time complexity and high computing resource utilization ratio, and effectively overcomes the problems of single mode and high space-time complexity existing in the existing processing methods.

【技术实现步骤摘要】
基于窗口的流式数据缺失处理方法
本专利技术属于无线通信、信息检索及其数据库结构技术及领域，尤其涉及一种基于窗口的流式数据缺失处理方法。
技术介绍
目前，业内常用的现有技术是这样的：传感器网络通常用来监测不同位置的物理或环境状况，网络在获取数据后会传输到数据中心对数据进行分析和显示。在节点所环境中，通常由于传感器网络自身硬件和软件的局限性，加上监测中遭到各种不利因素例如天气、人为、电磁辐射以及向中心传输过程中传输信道不稳定等影响，传感器网络中的节点在监测和获取信息的过程中，会出现数据缺失的情况，在数据中心接收到的数据将会是不完备的数据。数据的缺失，一般分为数据单重缺失和数据多重缺失，单重缺失是指数据中单一属性值的缺失，而多重缺失是存在多重属性值的缺失。传感器网络中数据通常是具有时间相关性和空间相关性的，时间相关性是指对同一个传感器而言，其获得的数据在时间上是具有前后关系的，而空间相关性是指网络中各个节点之间在位置接近，它们获得的数据之间具有一定的内在关系，这种内在关系就是空间相关性。在传感器网络的正常工作中，中心获得的各个传感器的数据是流式数据。在对含有缺失数据的流式数据进行处理中，通本文档来自技高网...

【技术保护点】
1.一种基于窗口的流式数据缺失处理方法，其特征在于，所述基于窗口的流式数据缺失处理方法通过对流式数据提供滑动窗口，根据数据流的大小动态调整窗口大小；利用数据内部的时间和空间特性对缺失数据进行填补，实现流失数据的缺失填补。

【技术特征摘要】
1.一种基于窗口的流式数据缺失处理方法，其特征在于，所述基于窗口的流式数据缺失处理方法通过对流式数据提供滑动窗口，根据数据流的大小动态调整窗口大小；利用数据内部的时间和空间特性对缺失数据进行填补，实现流失数据的缺失填补。2.如权利要求1所述的基于窗口的流式数据缺失处理方法，其特征在于，所述基于窗口的流式数据缺失处理方法包括以下步骤：步骤一，输入数据流；步骤二，选取初始窗口大小，判断窗口中的数据是否缺失；步骤三，滑动窗口大小调整；计算饱和可用窗口大小Wmax；计算当前窗口Wcur大小，计算数据为空的子窗口NSWnull大小；调整窗口大小；步骤四，窗口锁定，保持窗口大小并存储窗口中的数据；步骤五，进行不完备信息处理，判断数据是部分缺失还是整体缺失；是部分缺失判断是位置信息确实还是信号信息缺失，或者两部分都缺失，利用算法填充；全部缺失，判断是什么情况缺失，利用算法填充；步骤六，输出完备数据流。3.如权利要求2所述的基于窗口的流式数据缺失处理方法，其特征在于，所述步骤二的窗口大小选取和数据流数据缺失判断方法具体包括：初始窗口大小的选取根据数据流入速率进行设置，例如可采用数据初始速率大小，然后读取窗口中的数据，如果存在缺失则进行下一步处理，如果不存在缺失则进行窗口滑动，滑动大小为当前窗口大小。4.如权利要求2所述的基于窗口的流式数据缺失处理方法，其特征在于，所述步骤三的动态滑动窗口评估方法具体包括：(1)当前窗口Wcur大小计算，采用最大饱和可用窗口Wmax的一定比例来获取得；(2)调整窗口大小的方法，保持η的大小为较高的比例，并且在一定的范围内波动，然后动态调整SW的大小，当...

【专利技术属性】
技术研发人员：沈中，秦超，杨清海，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61