一种基于大数据与深度学习的病虫害识别系统技术方案

本发明专利技术公开了一种基于大数据与深度学习的病虫害识别系统，包括数据收集模块，采用基于Hadoop框架的爬虫任务调度平台实现数据的收集，数据存储与处理模块使用MySQL数据库结合HDFS对数据进行有效存储与处理，数据应用模块改进经典YOLO V4算法为病虫害分类任务使用；本发明专利技术使用任务调度平台，方便获取互联网上海量数据，解决数据量不足问题；Hadoop平台实现多服务器的有效管理，解决了海量数据的收集难和存储难的问题；目标检测算法可以有效、快速地进行植物疾病的识别；模型训练任务平台简化了模型训练任务过程；可视化展示平台以直观、易理解的方式给农民提供信息服务。利用本平台可以辅助农民对病虫害进行及时、有效的鉴定，防止疾病和虫害的蔓延而造成经济损失。防止疾病和虫害的蔓延而造成经济损失。防止疾病和虫害的蔓延而造成经济损失。

【技术实现步骤摘要】
一种基于大数据与深度学习的病虫害识别系统


[0001]本专利技术涉及大数据和深度学习领域，尤其涉及一种基于大数据与深度学习的病虫害识别系统。

技术介绍

[0002]根据植物患病的图像进行相关诊断是智慧农业的研究热点之一，需要对患病处图像的病变性状（颜色，面积，溃烂）进行区分最终得出患病种类，具有较高的复杂性。由于这种复杂性，即使是经验丰富的农艺师和植物病理学家也常常无法成功地诊断出特定的疾病，从而导致错误的结论和治疗；十年来随着互联网的发展，海量数据的出现、以及人工智能新技术、图像处理和图形处理单元（Graphics Processing Unit, GPU）的显著进步，促使人工智能发展迅速，在病虫害上可以提高识别病虫害的准确度，对于缺乏适当经验的农民来说，它也可能是一种很有价值的工具。 此外，在大规模种植的情况下，该系统可以与自动农用车结合使用，从而通过连续图像捕获来准确、及时地定位整个种植区域的发病情况。进行有效的早期干预保护作物生长。
[0003]在病虫害识别系统中，涉及到许多病虫害数据的分类任务，要想获得较高的分类精确度，病虫害图片的数量是一个关键因素，因此病虫害图片数据具有较高的研究与利用价值；在获取病虫害图片数据时，传统的单节点爬虫技术面对数据量大，数据类型多的数据，爬取速度慢，难以获得模型训练所需要的大量数据；其中，模型训练过程中过程繁琐，模型更新麻烦，容易造成服务器空闲和算力浪费；另外，传统技术部署不方便、部署版本混乱、部署隔离性差，脚本、代码也难于管理。
[0004]目前国内外对图片分类的方法主要包含两类方法，一类是早期的机器学习分类模型对学习到的图片的特征进行分类，另一类是以卷积神经网络( Convolutional Neural Network，CNN)为代表的深度学习方法，自动提取特征使用全连接层结合Softmax函数进行分类。本专利技术使用基于深度CNN的模型来解决植物叶片病害识别问题，深度卷积神经网络是一类深度学习算法，其最基本的组件为卷积层 池化层 全连接层。深度学习通过向模型中添加更多的上述层结构来改善传统的机器学习。深度卷积神经网络广泛应用在图像分类，目标检测，语义分割，语音识别，推荐系统和自然语言处理中。
[0005]卷积神经网络CNN是一包含卷积的多层网络。包括输入层、卷积层、池化层、全连接层以及输出层。近年国内外比较经典的CNN 模型有LeNet、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet 系列、DenseNet，DPN以及针对移动端的轻量网络Mobilenet系列。这些模型均是改进的LeNet 模型。
[0006]YOLO算法是一种高效快速的端到端目标检测算法，目前共有5个版本，YOLO将对象分类和检测统一到一个回归过程中。 它没有采用区域提议的过程，而是直接利用回归来检测目标。 因此，它有效地加速了检测过程。 YOLO
‑
V4版本不仅具有令人满意的精度和高速度，而且在小目标检测方面也有出色的表现。 对脐橙病灶检测具有极好的参考价值。
[0007]迁移学习是一种知识共享方法，可在构建深度学习模型时减少训练数据的大小，
时间和计算成本。转移学习有助于将预训练模型的学习转移到新模型。转移学习已用于各种应用中，例如图像分类、自动驾驶、语言识别和情感分类。在这项研究中，本研究中将分别对经典的分类模型（例如AlexNet，VGG16，Inception
‑
v3和ResNet）进行了比较，每个模型训练使用迁移学习和不使用迁移学习的两种模型比较迁移学习对模型准确率的影响。深度CNN需要大量的训练数据才能获得更好的结果。为了增强模型的鲁棒性、泛化能力，通常需要进行图像增强，以增强模型的性能。图像增强使用几种处理方法或多种处理方法的组合人工生成训练图像，例如图像翻转，伽玛校正，噪声注入，主成分分析（Principal Component Analysis, PCA）颜色增强，旋转和缩放。
[0008]结合GPU技术和人工智能技术打造一个可以对病虫害图像进行精准识别并提供相关治疗措施的系统可以对病虫害及早发现及早治疗，很大程度上减少病虫害的危害，同时还减少了农药的乱用，保护环境与提高产量同时实现。

技术实现思路

[0009]本专利技术的目的在于，采用基于Hadoop框架的爬虫任务调度平台实现数据的收集，MySQL数据库结合HDFS对数据进行有效的存储，改进经典YOLO V4算法为病虫害分类任务使用，提供了一种基于大数据与深度学习的病虫害识别系统，通过病虫害识别功能，对煤烟病、疮痂病叶子、疮痂病果实、黄龙病叶子、黄龙病果实、溃疡病叶子、炭疽病叶子、炭疽病果实、脚腐病、膏药病、褐腐病、黄斑病果实、黄斑病叶子、红蜘蛛、天牛、象鼻虫、铜绿金龟子、椿象、介壳虫共19种分类进行有效的识别、并提供相应的治疗措施。
[0010]本专利技术的技术方案：一种基于大数据与深度学习的病虫害识别系统，包括数据收集模块、数据存储与处理模块、数据应用模块。
[0011]所述数据收集模块，用于收集各种数据；其中，所述数据收集模块包括图像数据收集子模块、新闻数据收集子模块、价格收集子模块、气象数据收集子模块、淘宝数据收集子模块，可以分别收集图像、新闻、价格、气象数据和淘宝数据。
[0012]所述数据存储与处理模块，用于存储从互联网上获取到和用户上传的数据；其中，所述数据存储与处理模块包括数据存储子模块、数据处理子模块、数据迁移子模块，可以实现存储数据、处理数据、迁移数据。
[0013]所述数据应用模块，用于将处理得到的数据进行训练和展示；其中，所述数据应用模块包括用户注册登录子模块、自助模型训练子模块、训练任务管理子模块、模型自动更新子模块、病虫害识别子模块和大屏可视化子模块，用户可注册登录网站、上传图片进行病虫害识别以及查看大屏可视化数据。
[0014]前述的一种基于大数据与深度学习的病虫害识别系统中，所述图像数据收集子模块包括收集互联网中脐橙相关的病虫害图像数据，所述新闻数据收集子模块包括收集新闻门户网站中的农业新闻数据和病虫害防治措施数据，所述价格收集子模块包括收集商务部批发市场的价格数据，所述气象数据收集子模块包括收集国家气象数据中心的部分气象数据，所述淘宝数据收集子模块包括收集淘宝上的防治脐橙病虫害的农药。
[0015]前述的一种基于大数据与深度学习的病虫害识别系统中，所述数据存储与处理模块中数据处理，是指对不符合要求的数据进行删除处理；所述数据存储与处理模块中数据迁移，是指对数据进行不同存储介质之间进行转移。
[0016]前述的一种基于大数据与深度学习的病虫害识别系统中，所述数据应用模块中用户注册登录，是指实现用户的注册与登录功能。
[0017]前述的一种基于大数据与深度学习的病虫害识别系统中，所述数据应用模块中自助模型训练，是指用户通过书写输入数据库位置，选择训练模型，选择优化器，用户需要填写用户地址，然后输入训练轮次和学习率，并将训练结果推送到指定邮箱中去。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据与深度学习的病虫害识别系统，其特征在于：包括数据收集模块、数据存储与处理模块、数据应用模块；所述数据收集模块，用于收集各种数据；其中，所述数据收集模块包括图像数据收集子模块、新闻数据收集子模块、价格收集子模块、气象数据收集子模块、淘宝数据收集子模块，可以分别收集图像、新闻、价格、气象数据和淘宝数据；所述数据存储与处理模块，用于存储从互联网上获取到和用户上传的数据；其中，所述数据存储与处理模块包括数据存储子模块、数据处理子模块、数据迁移子模块，可以实现存储数据、处理数据、迁移数据；所述数据应用模块，用于将处理得到的数据进行训练和展示；其中，所述数据应用模块包括用户注册登录子模块、自助模型训练子模块、训练任务管理子模块、模型自动更新子模块、病虫害识别子模块和大屏可视化子模块，用户可注册登录网站、上传图片进行病虫害识别以及查看大屏可视化数据。2.根据权利要求1所述的一种基于大数据与深度学习的病虫害识别系统，其特征在于：所述图像数据收集子模块包括收集互联网中脐橙相关的病虫害图像数据，所述新闻数据收集子模块包括收集新闻门户网站中的农业新闻数据和病虫害防治措施数据，所述价格收集子模块包括收集商务部批发市场的价格数据，所述气象数据收集子模块包括收集国家气象数据中心的部分气象数据，所述淘宝数据收集子模块包括收集淘宝上的农具、防治病虫害的农药数据。3.根据权利要求1所述的一种基于大数据与深度学习的病虫害识别系统，其特征在于：所述数据存储与处理模块中数据存储，是指对收集到的数据进行存储；所述数据存储与处理模块中数据处理，是指对不符合要求的数据进行删除处理；所述数据存储与处理模块中数...

【专利技术属性】
技术研发人员：宋彩霞，亓志国，刘传奇，霍青峰，孙振华，丁洵，陈勃宇，付华侨，孙福豪，刘永奇，
申请(专利权)人：青岛农业大学，
类型：发明
国别省市：