一种农业生态多源异构大数据采集、处理与分析架构制造技术

本发明专利技术公开了一种农业生态多源异构大数据采集、处理与分析架构，涉及人工智能和数据挖掘分析技术领域，包括数据获取模块，所述数据获取模块与数据存储模块电连接，所述数据存储模块与数据预处理模块电连接，所述数据预处理模块与数据特征提取模块电连接，所述数据特征提取模块与并行挖掘与分析模块电连接，所述并行挖掘与分析模块与环境预测与展示模块电连接。本发明专利技术用于通过对农业生态多源异构大数据进行采集、处理与分析等处理步骤，从而实现对观测地区生态农业的全方位监测，有利于工作人员从分析结果判断观测地区生态农业的具体生产情况，非常有利于促进生态农业的发展。

A collection and processing and analysis framework of multi source heterogeneous data in agricultural ecology

The invention discloses an agro ecological multi source heterogeneous data acquisition, processing and analysis framework, involving artificial intelligence and data mining analysis technology, including a data acquisition module. The data acquisition module is electrically connected with a data storage module. The data storage module is electrically connected with a data preprocessing module. The number of data acquisition modules is connected to the data preprocessing module. According to the electrical connection between the preprocessing module and the data feature extraction module, the data feature extraction module is electrically connected with the parallel mining and analysis module, and the parallel mining and analysis module is electrically connected with the environment prediction and display module. The invention is used to collect, process and analyze the large data of agricultural ecological multisource isomerism, so as to realize the omni-directional monitoring of ecological agriculture in the observed area, which is helpful for the staff to judge the specific production situation of ecological agriculture in the observation area from the analysis results, and is very helpful to promote the development of ecological agriculture.

【技术实现步骤摘要】
一种农业生态多源异构大数据采集、处理与分析架构
本专利技术涉及人工智能和数据挖掘分析
，特别涉及一种农业生态多源异构大数据采集、处理与分析架构。
技术介绍
农业生态，是指农业生物之间以及它们与环境的相互关系，主要包括的农业生物有作物、果树、蔬菜、栽培牧草和树木、家畜、家禽、养殖鱼类、食用菌等。是按照生态学原理和经济学原理，运用现代科学技术成果和现代管理手段，以及传统农业的有效经验建立起来的，能获得较高的经济效益、生态效益和社会效益的现代化农业。它要求把发展粮食与多种经济作物生产，发展大田种植与林、牧、副、渔业，发展大农业与第二、三产业结合起来，利用传统农业精华和现代科技成果，通过人工设计生态工程、协调发展与环境之间、资源利用与保护之间的矛盾，形成生态上与经济上两个良性循环，经济、生态、社会三大效益的统一。目前，随着社会的进步和时代的发展，人们对生态农业的关注度越来越高，希望能够利用现代科技更好地、更精细地管理生态农业，为全人类造福，所以就需要一种农业生态多源异构大数据采集、处理与分析架构。
技术实现思路
本专利技术实施例提供了一种农业生态多源异构大数据采集、处理与分析架构，用以解决现有技术中存在的问题。一种农业生态多源异构大数据采集、处理与分析架构，包括数据获取模块，所述数据获取模块与数据存储模块电连接，所述数据存储模块与数据预处理模块电连接，所述数据预处理模块与数据特征提取模块电连接，所述数据特征提取模块与并行挖掘与分析模块电连接，所述并行挖掘与分析模块与环境预测与展示模块电连接；所述数据获取模块包括卫星遥感模块、航空遥感模块、无人机采集遥感信息模块和布置传感网模块，所述卫星遥感模块是通过卫星遥感来获取观测地区农业的数据信息，所述航空遥感模块是通过各种飞机、飞艇和气球作为传感器运载工具在空中获取观测地区农业的数据信息，所述无人机采集遥感信息模块是通过无人机内的传感器获取目标物的电磁波信息，从而获取观测地区农业的数据信息，所述布置传感网模块是通过在地面布置传感器网络来获取观测地区农业的数据信息；所述数据存储模块包括HDFS模块、Hive模块和MySQL模块，所述HDFS模块是Hadoop分布式文件系统，具有高容错性的特点，并且部署在低廉的硬件上，同时放宽了POSIX的要求，可以以流的形式访问文件系统中的数据，所述Hive模块是基于所述HDFS模块的一种可以存储、查询和分析存储在Hadoop中大规模数据的机制，所述MySQL模块是一个开放源码的小型关联式数据库管理系统；所述数据预处理模块包括数据清洗模块、几何校正模块、数据融合模块、去云及阴影处理模块和大气校正模块，所述数据清洗模块是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值，所述几何校正模块用于消除或改正遥感影像的几何误差，所述数据融合模块是将多传感器信息源的数据和信息加以联合、相关及组合，以便获得更为精确的位置估计和身份估计，从而实现对战场态势和威胁以及其重要程度的实时完整评价，所述去云及阴影处理模块用于对遥感影像进行处理，达到去云和阴影的目的，所述大气校正模块用于消除遥感影像中由大气散射和吸收引起的辐射误差；所述数据特征提取模块包括土壤数据特征提取模块、气象观测数据特征提取模块、水文观测数据特征提取模块和农作物生产数据特征提取模块，所述土壤数据特征提取模块用于对观测地区内的土壤数据信息进行特征提取，所述气象观测数据特征提取模块用于对观测地区内的气象数据信息进行特征提取，所述水文观测数据特征提取模块用于对观测地区内的水文数据信息进行特征提取，所述农作物生产数据特征提取模块用于对观测地区内的农作物生产数据信息进行特征提取；所述并行挖掘与分析模块包括大数据降维技术模块、时间空间数据分析模块和分布式大数据查询模块，所述大数据降维技术模块用于对农业生态的大数据使用主成分分析方法进行降维处理，所述时间空间数据分析模块用于通过对观测地区的时空大数据使用机器学习算法和深度学习算法，从而对农业生态的时空大数据进行深入地挖掘与分析，所述分布式大数据查询模块用于对农业生态多源异构大数据采用分布式大数据查询方法进行查询；所述环境预测与展示模块包括农作物长势预测模块、农作物产量预测模块、农作物病虫害遥感预测模块和可视化展示预测分析结果模块，所述农作物长势预测模块用于对观测地区的农作物长势进行预测，所述农作物产量预测模块用于对观测地区的农作物产量进行预测，所述农作物病虫害遥感预测模块用于对观测地区的农作物病虫害进行遥感预测，所述可视化展示预测分析结果模块用于对预测分析结果进行可视化展示。较佳地，所述数据预处理模块、所述数据特征提取模块、所述并行挖掘与分析模块和所述环境预测与展示模块均在Spark数据处理平台中进行。较佳地，所述可视化展示预测分析结果模块采用的软件为ENVI软和ARCGIS软件。本专利技术有益效果：本专利技术用于通过对农业生态多源异构大数据进行采集、处理与分析等处理步骤，从而实现对观测地区生态农业的全方位监测，有利于工作人员从分析结果判断观测地区生态农业的具体生产情况，非常有利于促进生态农业的发展。附图说明图1为本专利技术实施例提供的一种农业生态多源异构大数据采集、处理与分析架构的结构示意图。附图标记说明：1-数据获取模块，2-数据存储模块，3-数据预处理模块，4-数据特征提取模块，5-并行挖掘与分析模块，6-环境预测与展示模块，7-卫星遥感模块，8-航空遥感模块，9-无人机采集遥感信息模块，10-布置传感网模块，11-HDFS模块，12-Hive模块，13-MySQL模块，14-数据清洗模块，15-几何校正模块，16-数据融合模块，17-去云及阴影处理模块，18-大气校正模块，19-土壤数据特征提取模块，20-气象观测数据特征提取模块，21-水文观测数据特征提取模块，22-农作物生产数据特征提取模块，23-大数据降维技术模块，24-时间空间数据分析模块，25-分布式大数据查询模块，26-农作物长势预测模块，27-农作物产量预测模块，28-农作物病虫害遥感预测模块，29-可视化展示预测分析结果模块。具体实施方式下面结合专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。本专利技术是在农业生态领域大数据海量性、多样性、快速性、价值性特点的基础上，根据农业生态环境管理决策的应用需求，在Spark并行分布式计算环境下，设计的一种农业生态多源异构行业领域大数据采集、处理与分析架构的搭建方案。参照图1，本专利技术提供了一种农业生态多源异构大数据采集、处理与分析架构，包括数据获取模块1，所述数据获取模块1与数据存储模块2电连接，所述数据存储模块2与数据预处理模块3电连接，所述数据预处理模块3与数据特征提取模块4电连接，所述数据特征提取模块4与并行挖掘与分析模块5电连接，所述并行挖掘与分析模块5与环境预测与展示模块6电连接；由于遥感技术具有视域广、时效性强、信息量大和受条件限制少等优点，为了保证农业生态大数据真实、可信，本专利技术采集和获取农业生态多源异构大数据时，主要通过以下四种渠道来获取农业生态多源异构大数据。所述数据获取模块1包括卫星遥感模块7、航空遥感模块8、无人机采集遥感本文档来自技高网...

【技术保护点】
1.一种农业生态多源异构大数据采集、处理与分析架构，其特征在于，包括数据获取模块(1)，所述数据获取模块(1)与数据存储模块(2)电连接，所述数据存储模块(2)与数据预处理模块(3)电连接，所述数据预处理模块(3)与数据特征提取模块(4)电连接，所述数据特征提取模块(4)与并行挖掘与分析模块(5)电连接，所述并行挖掘与分析模块(5)与环境预测与展示模块(6)电连接；所述数据获取模块(1)包括卫星遥感模块(7)、航空遥感模块(8)、无人机采集遥感信息模块(9)和布置传感网模块(10)，所述卫星遥感模块(7)是通过卫星遥感来获取观测地区农业的数据信息，所述航空遥感模块(8)是通过各种飞机、飞艇和气球作为传感器运载工具在空中获取观测地区农业的数据信息，所述无人机采集遥感信息模块(9)是通过无人机内的传感器获取目标物的电磁波信息，从而获取观测地区农业的数据信息，所述布置传感网模块(10)是通过在地面布置传感器网络来获取观测地区农业的数据信息；所述数据存储模块(2)包括HDFS模块(11)、Hive模块(12)和MySQL模块(13)，所述HDFS模块(11)是Hadoop分布式文件系统，具有高容错性的特点，并且部署在低廉的硬件上，同时放宽了POSIX的要求，可以以流的形式访问文件系统中的数据，所述Hive模块(12)是基于所述HDFS模块(11)的一种可以存储、查询和分析存储在Hadoop中大规模数据的机制，所述MySQL模块(13)是一个开放源码的小型关联式数据库管理系统；所述数据预处理模块(3)包括数据清洗模块(14)、几何校正模块(15)、数据融合模块(16)、去云及阴影处理模块(17)和大气校正模块(18)，所述数据清洗模块(14)是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值，所述几何校正模块(15)用于消除或改正遥感影像的几何误差，所述数据融合模块(16)是将多传感器信息源的数据和信息加以联合、相关及组合，以便获得更为精确的位置估计和身份估计，从而实现对战场态势和威胁以及其重要程度的实时完整评价，所述去云及阴影处理模块(17)用于对遥感影像进行处理，达到去云和阴影的目的，所述大气校正模块(18)用于消除遥感影像中由大气散射和吸收引起的辐射误差；所述数据特征提取模块(4)包括土壤数据特征提取模块(19)、气象观测数据特征提取模块(20)、水文观测数据特征提取模块(21)和农作物生产数据特征提取模块(22)，所述土壤数据特征提取模块(19)用于对观测地区内的土壤数据信息进行特征提取，所述气象观测数据特征提取模块(20)用于对观测地区内的气象数据信息进行特征提取，所述水文观测数据特征提取模块(21)用于对观测地区内的水文数据信息进行特征提取，所述农作物生产数据特征提取模块(22)用于对观测地区内的农作物生产数据信息进行特征提取；所述并行挖掘与分析模块(5)包括大数据降维技术模块(23)、时间空间数据分析模块(24)和分布式大数据查询模块(25)，所述大数据降维技术模块(23)用于对农业生态的大数据使用主成分分析方法进行降维处理，所述时间空间数据分析模块(24)用于通过对观测地区的时空大数据使用机器学习算法和深度学习算法，从而对农业生态的时空大数据进行深入地挖掘与分析，所述分布式大数据查询模块(25)用于对农业生态多源异构大数据采用分布式大数据查询方法进行查询；所述环境预测与展示模块(6)包括农作物长势预测模块(26)、农作物产量预测模块(27)、农作物病虫害遥感预测模块(28)和可视化展示预测分析结果模块(29)，所述农作物长势预测模块(26)用于对观测地区的农作物长势进行预测，所述农作物产量预测模块(27)用于对观测地区的农作物产量进行预测，所述农作物病虫害遥感预测模块(28)用于对观测地区的农作物病虫害进行遥感预测，所述可视化展示预测分析结果模块(29)用于对预测分析结果进行可视化展示。...

【技术特征摘要】
1.一种农业生态多源异构大数据采集、处理与分析架构，其特征在于，包括数据获取模块(1)，所述数据获取模块(1)与数据存储模块(2)电连接，所述数据存储模块(2)与数据预处理模块(3)电连接，所述数据预处理模块(3)与数据特征提取模块(4)电连接，所述数据特征提取模块(4)与并行挖掘与分析模块(5)电连接，所述并行挖掘与分析模块(5)与环境预测与展示模块(6)电连接；所述数据获取模块(1)包括卫星遥感模块(7)、航空遥感模块(8)、无人机采集遥感信息模块(9)和布置传感网模块(10)，所述卫星遥感模块(7)是通过卫星遥感来获取观测地区农业的数据信息，所述航空遥感模块(8)是通过各种飞机、飞艇和气球作为传感器运载工具在空中获取观测地区农业的数据信息，所述无人机采集遥感信息模块(9)是通过无人机内的传感器获取目标物的电磁波信息，从而获取观测地区农业的数据信息，所述布置传感网模块(10)是通过在地面布置传感器网络来获取观测地区农业的数据信息；所述数据存储模块(2)包括HDFS模块(11)、Hive模块(12)和MySQL模块(13)，所述HDFS模块(11)是Hadoop分布式文件系统，具有高容错性的特点，并且部署在低廉的硬件上，同时放宽了POSIX的要求，可以以流的形式访问文件系统中的数据，所述Hive模块(12)是基于所述HDFS模块(11)的一种可以存储、查询和分析存储在Hadoop中大规模数据的机制，所述MySQL模块(13)是一个开放源码的小型关联式数据库管理系统；所述数据预处理模块(3)包括数据清洗模块(14)、几何校正模块(15)、数据融合模块(16)、去云及阴影处理模块(17)和大气校正模块(18)，所述数据清洗模块(14)是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值，所述几何校正模块(15)用于消除或改正遥感影像的几何误差，所述数据融合模块(16)是将多传感器信息源的数据和信息加以联合、相关及组合，以便获得更为精确的位置估计和身份估计，从而实现对战场态势和威胁以及其重要程度的实时完整评价，所述去云及阴影处理模块(1...

【专利技术属性】
技术研发人员：宋启祥，崔琳，张志伟，邱慧丽，吴孝银，谈成访，潘正高，
申请(专利权)人：宿州学院，
类型：发明
国别省市：安徽,34