一种基于大数据的农业病虫害智能诊断系统技术方案

本发明专利技术提出了一种基于大数据的农业病虫害智能诊断系统包括：数据存储系统、数据分析系统、数据挖掘系统、数据识别系统。本发明专利技术的农业病害大数据诊断平台和门户采用Portal技术实现，通过系统提供的多维数据服务，定制不同的预警和分析模型，以简单、易懂的图形方式展现出来，配合多维分析工具，用户可从数据立方体中对分析指标进行多维度、多角度的分析，科学准确的了解各指标的现状和发展趋势，可自动生成包含文字、数字、图表、报表的PDF或DOC形式的决策分析报告。

【技术实现步骤摘要】

本专利技术涉及大数据领域，特别涉及一种基于大数据的农业病虫害智能诊断系统。
技术介绍
在农作物病虫害的防治体系中，病虫害的诊断至今仍为薄弱环节，各种类型的病害与各种各样的害虫，是否能够正确的诊断，直接影响到作物病虫防治工作的成败。然而，正确的诊断病虫，对病虫害防治人员提出了较高的要求，而近年来变化异常的生态环境和多变的病虫灾害，为病虫害的防治带来较大的困难，因为作为专业技术人员对病虫的诊断需要一定的学习和实践的过程。人们在长期与病虫害作斗争的过程中，积累了宝贵的经验，这个经验不是一般的实践经验，而是包涵有较高知识含量，为了使这些知识财富能被广大的作物病虫防治工作者尽快的掌握应用，作物病虫害防治诊断专家系统应运而生，且任重道远。构建实用的、智能化农业病虫害专家系统的难点在于如何以接近自然语言的方式来表达病虫草害的诊断特征：病虫害的分类鉴定和诊断是复杂的专业工作，按照传统的分类检索十分烦琐，因此对于虫害诊断主要是根据害虫的为害形状、形态和行为特征；病害诊断主要是根据植株受害症状、病原微生物部分特征和分子特性。另一方面，病虫害诊断的难点在于模糊推理机的实现和冲突消解的策略。如何构建模糊推理机从综合数据库中取出符合要求的规则，对己有事实进行匹配，并选出匹配成功的规则，计算可信度，并根据冲突消解策略选择综合数据库中没有的规则结论及可信度值，作为新的事实加入到综合数据库中，完成提示检验、规则解释、新事实输入等也是目前的诊断系统中所面临的一个难点。随着云时代的来临，在以云计算为代表的技术推动下，大数据技术受到国内外学者的广发的关注。大数据的特点可以概括为数据量巨大、数据类型繁多、处理速度快，大数据技术指在各种各样类型的数据中，快速获得有价值信息的能力，使得原本很难收集和利用的数据开始容易被利用起来，在较短的时间内能快速处理大量数据并整理成为农业病虫害智能诊断需要的依据。如何充分利用大数据技术，提供一种基于大数据的农业病虫害智能诊断系统，是目前亟待解决的问题。现有的农作物病虫害监测及预警系统如图1所示，包括监测系统，移动终端及监控中心；监测系统包括传感器节点、网关、视频采集系统及无线视频传输系统；移动终端包括智能手机，笔记本电脑及平板电脑；监控中心包括WEB服务器，视频播放系统及管理终端，WEB服务器连接管理信息系统，WEB服务器连接管理终端；管理终端包括电脑，智能手机或笔记本电脑；传感器节点通过网关通信，网关通过GSM/GPRS与移动终端通信，网关通过GSM/GPRS及网络与监控中心的WEB服务器通信，视频采集系统采集的图像信息通过无线视频传输系统传输到视频播放系统。另一种植物智能保护系统及实现方法如图2所示，通过设置识别系统、防治系统、气象模块、地理模块、植物保护信息模块、病虫害基础知识模块等全面的植物保护模块对植物的保护进行全面合理的保护和预防；通过Web输入界面结合数据处理模块和数据库模块对用户信息进行记录，并对用户上传的信息进行智能化应对，最快速度解决用户的问题，方便、快捷，增加客户的粘性。以上两种目前主流方案有如下不足：一、存在数据库相对较简单，对于症状相似病害或者罕见病害存在误判甚至错判的风险，数据库丰富度需要极大程度提升；二、更重要的是其实现方式都是以单节点方式运行，在数据读写并发、数据处理效率、数据存储量方面有着先天性不足。数据量并发量大时，采用传统单节点方式，可能会由于服务器长时间不能响应，导致传输失败，丢失数据资源，尤其是视频文件的传输、存储、分析存在极大的宕机风险；三、对于系统中非结构化数据无法实现自动化处理，海量数据分析仍需依靠大量技术人员人工操作。
技术实现思路
本专利技术提出一种基于大数据的农业病虫害智能诊断系统，应用大数据技术快速处理大量数据并整理成为农业病虫害智能诊断需要的依据。本专利技术的技术方案是这样实现的：一种基于大数据的农业病虫害智能诊断系统，包括：数据存储系统、数据分析系统、数据挖掘系统、数据识别系统；数据存储系统采用基于Hadoop的分布式存储，架构采用N+M方式，一个文件的多个分片存储于不同的存储节点上，数据存储节点根据硬盘类型自动分层，根据策略实现自动数据迁移和删除，每个存储节点通过多套网络直接与其它节点互联，从终端回传的数据首先在消息队列集群中进行缓冲，然后由流式计算引擎进行实时计算，并将计算结果存到结构化数据库当中，另外再将原始数据进行序列化，将计算结果与序列化后的结果存到NoSQL数据库当中，用于数据的实时读取；数据分析系统由ETL工具完成异构数据的整合、集成和辅助数据仓库的建设，形成各行业的主题数据库；数据挖掘系统将临时存储区数据经过三级ETL抽取整理后形成各行业的主题数据库；主题数据库根据不同应用需求提供三级数据服务层，分别是细节数据层、汇总数据层和应用集市层；一级ETL抽取将临时存储区的数据按照预设的ETL抽取规则，抽取整理入细节数据层；二级ETL抽取将细节数据抽取、整理、分析成面向业务主题的统计数据集，即汇总数据层；第三级ETL抽取将细节数据层和汇总数据层数据抽取整理成应用集市层，形成各主题多维数据立方体；数据识别系统通过模式识别方式实现，模式识别是对各种事物或现象的分析、描述、判断和识别，流程如下：通过图像归一化、去噪、增强和锐化，进行图像数据预处理，逐一实现图像特征提取，针对提取出的图像特征在数据库中查询匹配，获取所需结果。可选地，所述数据存储系统中，从各数据源采集到的数据，先经过格式检查校验和转换处理后存储于临时存储区。可选地，所述数据识别系统通过图像处理方法获取图像的外形参数值之后，设计分类器将农业病害按其特征参数分类。可选地，所述分类器采用模板匹配法：针对每个待识别的类别，给出一个标准模板作为识别标准，所述标准模板是一个模式或者一个模式集。可选地，所述分类器采用逻辑特征分析法：该方法对特征的选择是使一类问题中只有一个模式具有某一种或者某一组合逻辑特征，匹配结果只有“是”和“非”两种结果。可选地，所述分类器采用模糊模式识别：是一种集合运算，用隶属度将模糊集合划分为若干子集，m个类就有m个子集，然后根据模糊判别决策进行分类，在识别过程中引入了模糊集概念。可选地，所述分类器采用神经网络法：利用神经网络，一个非线性的动态系统，通过对样本的学习建立起记忆，然后将未知模式判别为最接近的记忆。可选地，所述分类器采用句法模式识别法：用己知结构信息的模式作为训练样本，先识别出基元和它们之间的连接关系，并用字母符号表示它们，然后用构造句子的方法来描述这些场景的过程，并由此推断出生成该场景的一种文法规则。可选地，所述分类器采用统计特征法：对已知类别的模式样本进行各种特征的提取和分析，选取对分类有利的特征，并对其统计均值等按已知类别分别进行学习，按照Bayes最小误差原则，根据统计特征设计出一个分类误差最小的决策平面，识别过程就是对未知模式进行相同的特征提取和分析，通过决策平面方程决定该模式所属的类别。本专利技术的有益效果是：(1)采用Portal技术实现，通过系统提供的多维数据服务，定制不同的预警和分析模型，以简单、易懂的图形方式展现出来；(2)配合多维分析工具，用户可从数据立方体中对分析指标进行多维度、多角度的分析，科学准确的了解各指标的现状和发展趋势，可自动生成本文档来自技高网...

【技术保护点】
一种基于大数据的农业病虫害智能诊断系统，其特征在于，包括：数据存储系统、数据分析系统、数据挖掘系统、数据识别系统；数据存储系统采用基于Hadoop的分布式存储，结构采用N+M方式，一个文件的多个分片存储于不同的存储节点上，数据存储节点根据硬盘类型自动分层，根据策略实现自动数据迁移和删除，每个存储节点通过多套网络直接与其它节点互联，从终端回传的数据首先在消息队列集群中进行缓冲，然后由流式计算引擎进行实时计算，并将计算结果存到结构化数据库当中，另外再将原始数据进行序列化，将计算结果与序列化后的结果存到NoSQL数据库当中，用于数据的实时读取；数据分析系统由ETL工具完成异构数据的整合、集成和辅助数据仓库的建设，形成各行业的主题数据库；数据挖掘系统将临时存储区数据经过三级ETL抽取整理后形成各行业的主题数据库；主题数据库根据不同应用需求提供三级数据服务层，分别是细节数据层、汇总数据层和应用集市层；一级ETL抽取将临时存储区的数据按照预设的ETL抽取规则，抽取整理入细节数据层；二级ETL抽取将细节数据抽取、整理、分析成面向业务主题的统计数据集，即汇总数据层；第三级ETL抽取将细节数据层和汇总数据层数据抽取整理成应用集市层，形成各主题多维数据立方体；数据识别系统通过模式识别方式实现，模式识别是对各种事物或现象的分析、描述、判断和识别，流程如下：通过图像归一化、去噪、增强和锐化，进行图像数据预处理，逐一实现图像特征提取，针对提取出的图像特征在数据库中查询匹配，获取所需结果。...

【技术特征摘要】
1.一种基于大数据的农业病虫害智能诊断系统，其特征在于，包括：数据存储系统、数据分析系统、数据挖掘系统、数据识别系统；数据存储系统采用基于Hadoop的分布式存储，结构采用N+M方式，一个文件的多个分片存储于不同的存储节点上，数据存储节点根据硬盘类型自动分层，根据策略实现自动数据迁移和删除，每个存储节点通过多套网络直接与其它节点互联，从终端回传的数据首先在消息队列集群中进行缓冲，然后由流式计算引擎进行实时计算，并将计算结果存到结构化数据库当中，另外再将原始数据进行序列化，将计算结果与序列化后的结果存到NoSQL数据库当中，用于数据的实时读取；数据分析系统由ETL工具完成异构数据的整合、集成和辅助数据仓库的建设，形成各行业的主题数据库；数据挖掘系统将临时存储区数据经过三级ETL抽取整理后形成各行业的主题数据库；主题数据库根据不同应用需求提供三级数据服务层，分别是细节数据层、汇总数据层和应用集市层；一级ETL抽取将临时存储区的数据按照预设的ETL抽取规则，抽取整理入细节数据层；二级ETL抽取将细节数据抽取、整理、分析成面向业务主题的统计数据集，即汇总数据层；第三级ETL抽取将细节数据层和汇总数据层数据抽取整理成应用集市层，形成各主题多维数据立方体；数据识别系统通过模式识别方式实现，模式识别是对各种事物或现象的分析、描述、判断和识别，流程如下：通过图像归一化、去噪、增强和锐化，进行图像数据预处理，逐一实现图像特征提取，针对提取出的图像特征在数据库中查询匹配，获取所需结果。2.如权利要求1所述的基于大数据的农业病虫害智能诊断系统，其特征在于，所述数据存储系统中，存储基于Hadoop的分布式存储架构，从各数据源采集到的数据，先经过格式检查校验和转换处理后存储于临时存储区。3.如权利要求1所述的基于大数据的农业病虫害智能诊断系统，其特征在...

【专利技术属性】
技术研发人员：韩立亮，
申请(专利权)人：青岛云智环境数据管理有限公司，
类型：发明
国别省市：山东;37