一种基于机器视觉和卷积神经网络病虫害识别系统和方法技术方案

本发明专利技术涉及一种基于机器视觉和卷积神经网络病虫害识别系统和方法，属于人工智能技术领域。所述系统主要包括：图像采集模块、模型训练模块、模型测试模块、视觉识别模块、信息分类检测模块和训练更新模块；所述方法主要包括：图像采集步骤、模型训练步骤、模型测试步骤、视觉识别步骤、信息分类检测步骤和训练更新步骤；本次发明专利技术提出的基于机器视觉和卷积神经网络病虫害识别系统和方法能够定点、定时获取大量图像数据，将视觉识别、卷积神经网络模型测试放到采集前端，降低无效图像带宽占用，优化网络资源，提升识别效率，反馈与更新机制使模型持续、梯度地优化，并实时同步前端模型，有效提升病虫害识别准确率。

A system and method of pest identification based on machine vision and convolution neural network

The invention relates to a pest identification system and method based on machine vision and convolution neural network, belonging to the technical field of artificial intelligence. The system mainly includes: image acquisition module, model training module, model test module, visual recognition module, information classification detection module and training update module; the method mainly includes: image acquisition step, model training step, model test step, visual recognition step, information classification detection step and training update step; the machine-based Machine vision and convolution neural network pest identification system and method can acquire a large number of image data at fixed point and timing, put the visual recognition and convolution neural network model test in the front-end of acquisition, reduce the invalid image bandwidth occupation, optimize network resources, improve the recognition efficiency, feedback and update mechanism make the model continuously and gradiently optimized, and synchronize the front-end model in real time, effectively improve Improve the accuracy of pest identification.

【技术实现步骤摘要】
一种基于机器视觉和卷积神经网络病虫害识别系统和方法
本专利技术涉及一种基于机器视觉和卷积神经网络病虫害识别系统和方法，属于人工智能

技术介绍
近年来，全球气候多变，耕作制度、生产方式等改变，农业病虫害呈高发、频发、受灾面积广的态势，农业病虫害识别技术的应用对农业作物灾害预防、对农业种植生产都尤为地重要。现有的病虫害识别系统都是依靠前端采集设备，将大量的图像和影像传送到数据中心，然后通过人工智能技术进行相关的识别和训练。这种方式造成采集数量巨大、占用较高的网络带宽，如果网络不稳定时，传送效率较低、人工智能技术置后，在识别响应上有一定的延迟，另外因传送回的数据量大造成识别有效图像数据的效率较低。目前，缺少一个系统或方法能够改变这一现状。
技术实现思路
本专利技术为了解决上述问题，提供了一种基于机器视觉和卷积神经网络病虫害识别系统及识别方法。一种基于机器视觉和卷积神经网络病虫害识别系统，包括：图像采集模块：用于采集病虫害图像信息；视觉识别模块：用于识别所述图像采集模块采集的病虫害图像的特征；模型训练模块：采用神经网络模型训练所述视觉识别模块识别的图像特征；模型测试模块：用于对所述模型训练模块训练后的神经网络模型进行测试；信息分类检测模块：用于对所述模型测试模块的测试结果进行病虫害分类；训练更新模块：用于根据所述信息分类检测模块的分类结果更新所述神经网络模型。优选的是，所述神经网络为CNN卷积神经网络。优选的是，所述图像采集模块包括：预置采集点模块：用于图像采集，配备高清分辨率的采集设备。巡航周期模块：用于图像采集，在巡航周期模块中预置每个采集点周期的间隔时间。获取图像模块：用于图像采集，获取图像模块在所述采集设备每次快门后取得图像信息。优选的是，所述模型训练模块包括：专家标定模块：专家标定模块将采集的图像按照有害、无害进行标定。网络训练模块：将有害的图像按类型和种类进行训练。神经网络模型：持续训练得到的一种基于梯度的优化神经网络模型。优选的是，所述视觉识别模块包括：单通道处理模块：对采集的图像进行色彩空间变换，将BGR图像变换成灰度图，然后进行通道分离，选择合适的通道作为输入图像。高斯滤波处理模块：利用滤波器实现对所述单通道处理模块的输出图像作平滑处理。二值化模块：二值化在高斯滤波处理后将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。距离变换模块：距离变换模块使用distanceTransform方法计算二值图像中每一个非零点距离最近的零点的距离，将二值图像变换为灰度图像。形态学处理模块：去除灰度图像中不能包含结构元的部分，平滑目标的轮廓，移除由图像噪音形成的斑点。边缘检测模块：在形态学处理后，对病虫害的外边缘进行测定。优选的是，所述信息分类检测模块包括：分类模块：对识别到的病虫害信息图像进行分类，按照病虫害的类型、种类区分标记。数据中心模块：用于接收分类模块传送回的数据信息，存储病虫害图像信息。人工检测模块：病虫害图像信息进行定期检测，对类型与种类识别有误的图像数据进行重新标记。优选的是，所述训练更新模块包括：反馈模块：在信息分类检测模块中人工检测出识别有误的图像传入到模型训练模块中训练。更新模型模块：神经网络模型更新后，将更新后的模型训练模块参数传给模型测试模块，实现神经网络模型实时同步更新。本专利技术同时公开了一种基于机器视觉和卷积神经网络病虫害识别方法，包括如下步骤：步骤1，采集病虫害图像信息；步骤2，根据步骤1的病虫害图像信息训练神经网络；步骤3，根据步骤1的病虫害图像进行特征识别；步骤4，对步骤3获取的病虫害特征进行神经网络测试；步骤5，根据步骤4的测试结果进行病虫害分类；步骤6，通过步骤5的分类结果持续更新模型训练模块和模型测试模块；步骤7，重复步骤4-步骤6，直至完成病虫害识别和分类。优选的是，所述步骤2包括如下步骤：步骤2.1，将采集的图像按照有害、无害进行标定。对于有害图像，按照作物类型、灾害类型(虫害、病害)、灾害种类进行详细标定；步骤2.2，将有害的图像按类型和种类进行训练；步骤2.3，通过不断提供新的病虫害图像加以训练，提高模型因子精确度，对模型优化，提高识别的准确度。优选的是，所述步骤2.2包括如下步骤：步骤2.2.1，通过灰度、二值化及加权平均法对训练图像进行处理，将训练的RGB颜色模式的彩色图像处理成0和255的图像，0代表黑色255代表白色，然后将R、G、B三个分量以不同的权值进行加权平均，公式为：Gray(i,j)＝A·R(i,j)+B·G(i,j)+C·B(i,j)步骤2.2.2，通过卷积核取出步骤2.2.1输出图像中的特征，在卷积层对图像进行逐行、跨行扫描；步骤2.2.3，在步骤2.22的卷积层中使用Relu层，引入非线性特征；步骤2.2.4，采用池化层对步骤2.2.3的结果进行压缩提取出重要特征，有效控制过拟合；步骤2.2.5，采用Dropout层为步骤2.2.4的输出结果提供合适的分类或输出；步骤2.2.6，在经过多轮卷积层、池化层和Dropout层的处理后，在给出最后的分类结果。优选的是，所述步骤3包括如下步骤：步骤3.1，对采集的图像进行色彩空间变换，将BGR图像变换成灰度图，然后进行通道分离，选择合适的通道作为输入图像；其中，灰度化处理的方法是[cv2.cvtColor()]：cv2.COLOR_BGR2GRAY，公式为：Gray(i,j)＝[R(i,j)+G(i,j)+B(i,j)]/3步骤3.2，通过低通滤波器，对步骤3.1输出图像的每个像素点进行高斯滤波处理，公式为：步骤3.3，在高斯滤波处理后将图像上的像素点的灰度值设置为0或255，,将整个图像呈现出明显的黑白效果。二值化设定一个阈值T，用T将图像数据分成两部分：大于T的像素群和小于T的像素群，公式为：步骤3.4，使用distanceTransform方法计算图像中每一个非零点距离最近的零点的距离，它将二值图像变换为灰度图像，公式为：f(p)＝min(f(p),D(p,q)+f(q)q∈maskL步骤3.5，去除灰度图像中所有不能包含结构元的部分，平滑目标的轮廓，移除由图像噪音形成的斑点，公式为：步骤3.6，在形态学处理后，对病虫害的外边缘进行测定得到最小外接矩形,使用cv2.findContours()函数，公式为：优选的是，所述步骤3.6包括如下步骤：步骤3.6.1，实现多边形的简单外接矩形；步骤3.6.2，实现平面上某一点绕固定点旋转某一角度的算法。数学基础是，设平面上点(x1,y1)绕另一点(x0,y0)逆时针旋转A角度后的点为(x2,y2)，则有：顺时针时，A改写成-A即可。步骤3.6.3，旋转原始多边形(循环，0-90°，间距设为1°)，求旋转每个度数后的多边形的简单外接矩形，记录简单外接矩形的面积、顶点坐标以及此时旋转的度数；步骤3.6.4，比较在旋转过程中多边形求得的所有简单外接矩形，得到面积最小的简单外接矩形，获取该简单外接矩形的顶点坐标和旋转的角度。步骤3.6.5，旋转外接矩形。将上一步获得面积最小的简单外接矩形反方向(与步骤3.6.3相反)旋转相同的角度，即得最小外接矩形。综上所述，本专利技术的有益效果在于：本专利技术的病虫害识别系统和识别方法，本文档来自技高网...

【技术保护点】
1.一种基于机器视觉和卷积神经网络病虫害识别系统，其特征在于，所述系统包括：用于采集病虫害图像信息的图像采集模块；用于病虫害图像识别训练的CNN卷积神经网络模型训练模块；用于病虫害图像特征识别、卷积神经网络模型测试的识别测试模块；用于病虫害分类的信息分类、反馈更新模块。

【技术特征摘要】
1.一种基于机器视觉和卷积神经网络病虫害识别系统，其特征在于，所述系统包括：用于采集病虫害图像信息的图像采集模块；用于病虫害图像识别训练的CNN卷积神经网络模型训练模块；用于病虫害图像特征识别、卷积神经网络模型测试的识别测试模块；用于病虫害分类的信息分类、反馈更新模块。2.根据权利要求1所述基于机器视觉和卷积神经网络病虫害识别系统，其特征在于，所述图像采集模块包括：用于图像采集的预置采集点模块，预置采集点模块匹配高清分辨率的采集设备，如：DCIF、D1等分辨率采集设备；通过设置采集设备的经度和维度、采集的焦距、水平及垂直角度值、定点时间、快门响应次数来预置一个周期的采集点，用于图像采集的巡航周期模块，在巡航周期模块中预置每个采集点周期的间隔时间，以小时、天来设置，比如：巡航周期设置为2小时，即每个采集周期间隔2小时，用于图像采集的获取图像模块，获取图像模块在采集设备每次快门后取得图像信息，包括图像数据，图片采集时间及图像采集的经纬度；采集图像的时间和经纬度是根据采集设备经纬度、焦距、采集时水平和垂直角度值、采集时定点时间、采集时快门次数获取的数值。3.根据权利要求1所述基于机器视觉和卷积神经网络病虫害识别系统，其特征在于，所述CNN卷积神经网络模型训练模块包括：用于筛选图像的专家标定模块，专家标定模块将采集的图像按照有害、无害进行标定，对于有害图像，按照作物类型、灾害类型(虫害、病害)、灾害种类进行详细标定，用于CNN卷积神经网络训练的模块，将有害的图像按类型和种类进行训练，CNN卷积神经网络模型训练主要包括图像处理、卷积层、Relu激活层、池化层、Dropout层、FC全连接层这几个过程，使用LOSS函数、滑动平均(影子)、正则化进行训练，其中，图像处理通过灰度、二值化及加权平均法对训练图像进行处理，将训练的RGB颜色模式的彩色图像处理成0和255的图像，0代表黑色255代表白色，然后将R、G、B三个分量以不同的权值进行加权平均，公式表现为：Gray(i，j)＝0.299*R(i，j)+0.578*G(i，j)+0.114*B(i，j)，其中，卷积层通过卷积核取出图像中的特征，在卷积层对图像进行逐行、跨行扫描，类似于传统图像处理中的滤波，取出图像中的特征，其中，Relu激活层应用于每个卷积层之后，它给一个在卷积层中刚经过线性计算操作(只是数组元素依次(elementwise)相乘与求和)的系统引入非线性特征，ReLU层对输入内容的所有值都应用了函数f(x)＝max(0,x)，它把所有的负激活(negativeactivation)都变为零，增加模型乃至整个神经网络的非线性特征，其中，池化层是对卷积层结果的压缩得到更加重要的特征，同时还能有效控制过拟合，池化层将输入的图像划分为若干个矩形区域，对每个子区域输出最大值，池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合，其中，Dropout层将能够为特定的样本提供合适的分类或输出，即使一些激活参数被丢弃，在Dropout层保证神经网络不会对训练样本过于匹配，其中,FC全连接层是在经过多轮卷积层和池化层的处理之后，在卷积神经网络的最后会是由一到两个全连接层来给出最后的分类结果，其中，LOSS函数在病虫害识别的神经网络时，通过交叉熵函数(CrossEntropy)不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型，其中，在病虫害识别训练过程中采用滑动平均记录了一段时间内模型中所有参数w和b各自的平均值，利用滑动平均值可以增强模型的泛化能力，其中，正则化在病虫害识别训练过程中，给每个参数w加上权重，引入模型的复杂度指标，从而抑制模型噪声，减小过拟合，采用的是L1正则化算法，用于病虫害识别的CNN卷积神经网络模型，CNN卷积神经网络模型是一种持续的基于梯度的优化模型，通过不断提供新的病虫害影像加以训练，提高模型因子精确度，对模型优化，提高识别的准确度。4.根据权利要求1所述基于机器视觉和卷积神经网络病虫害识别系统，其特征在于，所述识别测试模块包括：用于采集图像识别的单通道处理模块，对采集的图像进行色彩空间变换，将BGR图像变换成灰度图，然后进行通道分离，选择合适的通道作为输入图像；其中，灰度化处理的方法是[cv2.cvtColor()]：cv2.COLOR_BGR2GRAY，用于采集图像识别的高斯滤波处理模块，高斯滤波使用cv2.GaussianBlur()函数，通过低通滤波器，输出图像的每个像素点是原图像上对应像素点与周围像素点的加权和，利用滤波器实现对图像的平滑处理，用于采集图像识别的的二值化模块，二值化在高斯滤波处理后将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果，二值化设定一个阈值T，用T将图像数据分成两部分：大于T的像素群和小于T的像素群，用于采集图像识别的距离变换模块，距离变换模块使用distanceTransform方法计算图像中每一个非零点距离最近的零点的距离，它将二值图像变换为灰度图像，用于采集图像识别的形态学处理模块，形态学处理能够去除所有不能包含结构元的部分，平滑目标的轮廓，移除由图像噪音形成的斑点，用于采集图像识别的边缘检测模块，边缘检测是在形态学处理后，对病虫害的外边缘进行测定的过程,使用cv2.findContours()函数，用于采集图像识别的CNN卷积神经网络模型测试模块，对于机器视觉处理的图像在CNN卷积神经网络中执行测试，识别带有病虫害信息的图像。5.根据权利要求1所述基于机器视觉和卷积神经网络病虫害识别系统，其特征在于，所述信息分类、反馈更新模块包括：用于病虫害图像的分类模块，对识别到的病虫害信息图像进行分类，按照病虫害的类型、种类区分标记，在CNN卷积神经网络模型测试模块中，根据测试的采集样本i可以获取到其病虫害种类，函数为：通过种类来获得病虫害分类，并传送给数据中心，用于病虫害图像信息存储的数据中心模块，数据中心接收分类模块传送回的数据信息，包括采集图像机器视觉处理前后的图像数据，病虫害的类型、种类、采集时间及采集经纬度等信息，用于病虫害图像的人工检测模块，人工检测模块对病虫害图像进行定期检测，对类型与种类识别有误的图像数据进行重新标记，用于病虫害持续训练的反馈模块，将在信息分类检测模块中人工检测出识别有误的图像传入到CNN卷积神经网络模型训练模块中训练，提高CNN卷积神经网络模型识别的准确率，用于CNN卷积神经网络模型测试的更新模型模块，当CNN卷积神经网络模型更新后，将更新后的模型传给所有前端用于病虫害测试的CNN卷积神经网络中，实现CNN卷积神经网络模型实时同步更新。6.一种基于机器视觉和卷积神经网络病虫害识...

【专利技术属性】
技术研发人员：陈峰，
申请(专利权)人：陈峰，
类型：发明
国别省市：黑龙江,23