一种应用于农业物联网的数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种应用于农业物联网的感测数据处理方法和装置，通过选择最优传感节点收集同类型的传感数据，将传感数据流切割成多段并行处理，对多段数据集进行数据预处理，按预定规则选择代表性关键字建立索引，遍历整个数据集，从而确定数据集中是否有冗余数据，并且将没有匹配到的数据块的索引加入到索引表中，使得在面对农业物联网中传感数据量较大且数据错误、冗余时，系统可以及时响应数据处理请求，过滤错误数据，得到的感测数据具有较好的完整度和可用性。

【技术实现步骤摘要】
一种应用于农业物联网的数据处理方法和装置
本专利技术涉及农业数据处理
，特别涉及一种应用于农业物联网的感测数据处理方法和装置。
技术介绍
如今农业信息化越来越受到广泛重视和应用，以农业信息技术为工具，用信息流调控农业活动的全过程，其主要是将农业生产管理信息化、农业经营管理信息化、农业科技学术信息化、以及农业资源环境信息化。现如今，农业物联网技术发展正处于初步应用阶段，其涵盖了传感器、网络通信、辅助支持以及自动控制等，通过对生长环境、生长过程、空气环境等进行实时监测，从而获取相应的信息。通过建立起的无线传感器网络对各方面所需的数据进行实时获取，从而精细化管理农产品的种养殖，而由于上述数据信息数据量较大，实时传输数据较多，且传感器长期暴露在野外高温高湿环境，错误数据较多，因此往往存在着数据缺失、数据错误、数值不完整、重复等错误、冗余数据的出现，从而导致输出的感测数据具有不确定性，可用性不高。因此，亟待提出一种对上述数据进行数据处理的方法。
技术实现思路
本专利技术实施例提供了一种应用于农业物联网的感测数据处理方法和装置，将数据流分段并行处理，并进行数据预处理，匹配出冗余数据，从而解决了现有农业物联网中因数据缺失、不完整、具有冗余数据导致的数据可用性不高等问题。为了解决上述问题，本专利技术公开了如下技术方案：第一方面，提供一种应用于农业物联网的感测数据处理方法，包括：传感器主节点收集其感测类型下的传感器实时传输的数据流，其中，所述传感器主节点是通过在具有不同所述感测类型的多个所述传感器中筛选每一类所述感测类型中具有最高准确度的所述传感器节点；将所述数据流切割成连续的多个初始数据集，建立和所述多个初始数据集数量相同的多条数据处理线程，每条所述数据处理线程对应一个初始数据集处理任务；对每个所述初始数据集进行预处理得到预处理后的数据集；在每个所述预处理后的数据集中选取代表性关键字，其中，所述预处理后的数据集包含多个数据块；通过在所述每个预处理后的数据集中选取的所述代表性关键字建立各自的关键字索引表，遍历所述预处理后的数据集中的所述数据块与所述关键字索引表指向的数据块是否相同；当遍历到存在相同数据块时，从所述预处理后的数据集中删除所述相同数据块；当遍历到不相同数据块时，进而判断其他所述关键字索引表指向的数据块中是否存在所述不相同数据块，将所述不相同数据块的索引添加到所述关键字索引表中。第二方面，提供一种应用于农业物联网的感测数据处理装置，包括：主节点处理模块，其收集其感测类型下的传感器实时传输的数据流，其中，所述主节点是通过在具有不同所述感测类型的多个所述传感器中筛选每一类所述感测类型中具有最高准确度的传感器节点；线程建立模块，将所述数据流切割成连续的多个初始数据集，建立和所述多个初始数据集数量相同的多条数据处理线程，每条所述数据处理线程对应一个初始数据集处理任务；数据预处理模块，对每个所述初始数据集进行预处理得到预处理后的数据集；选取模块，在每个所述预处理后的数据集中选取代表性关键字，其中，所述预处理后的数据集包含多个数据块；比较模块，通过在所述每个预处理后的数据集中选取的所述代表性关键字建立各自的关键字索引表，遍历所述预处理后的数据集中的所述数据块与所述关键字索引表指向的数据块是否相同；结果处理模块，当遍历到存在相同数据块时，从所述预处理后的数据集中删除所述相同数据块；当遍历到不相同数据块时，进而判断其他所述关键字索引表指向的数据块中是否存在所述不相同数据块，将所述不相同数据块的索引添加到所述关键字索引表中。本专利技术公开了一种应用于农业物联网的感测数据处理方法和装置，通过选择最优传感节点收集同类型的传感数据，将传感数据流切割成多段并行处理，对多段数据集进行数据预处理，按预定规则选择代表性关键字建立索引，遍历整个数据集，从而确定数据集是否有冗余数据，并且将没有匹配到的数据块的索引加入到索引表中，使得在面对农业物联网中传感数据量较大且数据错误、冗余时，系统可以及时响应数据处理请求，过滤错误数据，得到的感测数据具有较好的完整度和可用性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例中应用于农业物联网的感测数据处理方法的流程示意图。图2是本专利技术另一个实施例中应用于农业物联网的感测数据处理装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1，本专利技术一个实施例提出了一种应用于农业物联网的感测数据处理方法的流程图，农业物联网中将各种传感器设备与网络紧密结合，实现对数据采集、传输、处理、控制，上述多种传感器设备可以是对农业环境、土壤信息等进行实时监测，如检测环境温度、湿度、风力、降雨量、土壤PH值、氮素等等，这里对传感器的类型不作限制。一般来说，各类型传感器感测自身可感应的数据并实时传送，因此在一个表记录中一般都是各类型数据存放在一张表里，导致后续进行数据处理时费时费力。因此，本专利技术中通过设定一个传感器主节点，收集其感测类型下的其他传感器的传输的数据流。可选的是，该传感器主节点是通过在具有不同感测类型的多个传感器中筛选每一类感测类型中具有最高准确度的传感器节点。传感器主节点收集到实时传输的数据流后，将数据流切割成连续的多个初始数据集，数据流数据较大，合起来同时处理时间消耗较长，为了减少处理时间，可以进行并行处理，将收集到的数据流分成多个连续的初始数据集，并且建立和初始数据集数量相同的多条数据处理线程，每条数据处理线程对应一个初始数据集处理任务。利用处理器GPU单元建立多个线程并行处理单元，多个线程并行处理单元中的一个线程并行处理单元对应于一个数据集处理任务。GPU的线程是轻量级线程，线程之间的切换可以实现零开销，这种线程切换的优势是切换到就绪状态线程，可以用线程中的计算来隐藏线程的延迟，并且如果线程越多而带来隐藏的延迟越好；而CPU实现多线程的方法是使用软件自身的粗粒度多线程，他的特点是线程切换一般需要数百个时钟周期，这种消耗是非常大的。在CPU中，出现多核的制式，可以有2-8个计算核，不过硬件性能的提高是有限的，所以要不断增加计算核的数量很不容易。相比而言，GPU中的流多处理器通常有1-30个，如果满负荷使用，浮点计算处理能力非常有优势，所以，主流GPU性能是CPU性能的10倍甚至更高。对GPU和CPU比较可以看出，在内存的带宽和运算的能力两个方面，GPU在这两个方面比同时期的CPU高出数倍以上。每条数据处理线程对其对应的初始数据集进行预处理得到预处理后的数据集。删除初始数据集中含有过多缺失值的数据和删除含有较少完整值的数据，然后对删除后的初始数据集进行分块，分为完整数据子集a1和缺失数据子集a2两部分，本文档来自技高网...

【技术保护点】
1.一种应用于农业物联网的感测数据处理方法，其特征在于，所述方法包括：传感器主节点收集其感测类型下的传感器实时传输的数据流，其中，所述传感器主节点是通过在具有不同所述感测类型的多个所述传感器中筛选每一类所述感测类型中具有最高准确度的所述传感器节点；将所述数据流切割成连续的多个初始数据集，建立和所述多个初始数据集数量相同的多条数据处理线程，每条所述数据处理线程对应一个初始数据集处理任务；对每个所述初始数据集进行预处理得到预处理后的数据集；在每个所述预处理后的数据集中选取代表性关键字，其中，所述预处理后的数据集包含多个数据块；通过在所述每个预处理后的数据集中选取的所述代表性关键字建立各自的关键字索引表，遍历所述预处理后的数据集中的所述数据块与所述关键字索引表指向的数据块是否相同；当遍历到存在相同数据块时，从所述预处理后的数据集中删除所述相同数据块；当遍历到不相同数据块时，进而判断其他所述关键字索引表指向的数据块中是否存在所述不相同数据块，将所述不相同数据块的索引添加到所述关键字索引表中。

【技术特征摘要】
1.一种应用于农业物联网的感测数据处理方法，其特征在于，所述方法包括：传感器主节点收集其感测类型下的传感器实时传输的数据流，其中，所述传感器主节点是通过在具有不同所述感测类型的多个所述传感器中筛选每一类所述感测类型中具有最高准确度的所述传感器节点；将所述数据流切割成连续的多个初始数据集，建立和所述多个初始数据集数量相同的多条数据处理线程，每条所述数据处理线程对应一个初始数据集处理任务；对每个所述初始数据集进行预处理得到预处理后的数据集；在每个所述预处理后的数据集中选取代表性关键字，其中，所述预处理后的数据集包含多个数据块；通过在所述每个预处理后的数据集中选取的所述代表性关键字建立各自的关键字索引表，遍历所述预处理后的数据集中的所述数据块与所述关键字索引表指向的数据块是否相同；当遍历到存在相同数据块时，从所述预处理后的数据集中删除所述相同数据块；当遍历到不相同数据块时，进而判断其他所述关键字索引表指向的数据块中是否存在所述不相同数据块，将所述不相同数据块的索引添加到所述关键字索引表中。2.根据权利要求1所述的方法，其特征在于，进一步的，所述传感器主节点是通过在具有不同所述感测类型的多个所述传感器中筛选每一类所述感测类型中具有最高准确度的所述传感器节点包括：通过周期历史记录选择具有最高准确度的所述感测类型的传感器节点作为所述传感器主节点。3.根据权利要求1所述的方法，其特征在于，进一步的，所述对每个所述初始数据集进行预处理得到预处理后的数据集包括：删除所述初始数据集中含有过多缺失值的数据和删除含有较少完整值的数据，然后对删除后的所述初始数据集进行分块，分为完整数据子集和缺失数据子集两部分，所述完整数据子集存放完整的数据，所述缺失数据子集存放含有缺失值的数据，根据邻域半径的大小和邻域内最小值点的个数，对两个数据子集划分成多个簇，根据所述簇的中心点与所述缺失数据子集中的数据的相似度的计算值进行数据填充，选择距离数据最近的中心点所属于的簇并把所述数据赋给该簇，最后，合并所述完整数据子集和填充处理后的所述缺失数据子集得到所述预处理后的数据集。4.根据权利要求2所述的方法，其特征在于，进一步的，所述在每个所述预处理后的数据集中选取代表性关键字包括：均匀抽样选择所述每个预处理后的数据...

【专利技术属性】
技术研发人员：毛利，叶惠娟，胡永盛，刘小更，李鑫，窦小勇，吴加权，周斌，申倩，
申请(专利权)人：江苏农牧科技职业学院，
类型：发明
国别省市：江苏,32