基于先验阈值优化卷积神经网络的作物覆盖度提取方法技术

本发明专利技术应用于图像分割和农业气象观测领域，具体涉及图像特征提取与识别。研究基于深度学习的作物与背景的自动分割问题，提出基于RGB和HSI先验阈值优化卷积神经网络(RGB‑HSI‑CNN)的作物图像分割提取覆盖度方法，保留绿色植物的边缘并解决光照等影响，区分作物与杂草及土地，得到绿色作物的覆盖度。具体步骤：1、基于RGB、HSI阈值限定的图像预处理；2、训练样本集、验证样本集及测试样本集的制作；3、基于卷积神经网络的作物图像分割算法；4、分割评价。

【技术实现步骤摘要】
基于先验阈值优化卷积神经网络的作物覆盖度提取方法
本专利技术应用于图像分割和农业气象观测领域，具体涉及图像特征提取与识别。研究基于深度学习的作物与背景的自动分割问题，提出基于RGB和HSI先验阈值优化卷积神经网络(RGB-HSI-CNN)的作物图像分割提取覆盖度方法，保留绿色植物的边缘并解决光照等影响，区分作物与杂草及土地，得到绿色作物的覆盖度。
技术介绍
农作物生长观测是农业气象观测的一个重要部分，通过对作物特征参数的观测可及时了解作物的生长状况，便于采取各种管理措施，从而保证作物的正常生长。目前我国农业气象观测依然主要依靠地面观测人员按照《农业气象观测规范》中的标准对农作物进行实地取样测量来完成，农业气象现代化建设相对滞后，迫切需要提高地面观测及农业气象的自动化观测能力。作物的覆盖度是其生长过程中重要生长参数，它们直接或间接地反映了环境对作物综合影响的结果，也对作物的其它生长特征参数和产量具有一定的指向作用。计算机视觉的出现，一定程度上解决了这个问题，自20上世纪50年代出现至今，已广泛应用于该领域。1997年，Slaughter等研究基于色相计算机视觉技术的农业栽培建成自动控制系统用来除去田地里的杂草,并于两年后根据植物形状特征的差异识别作物和杂草，研制出智能杂草控制系统，以便对杂草进行精准喷施，Lukina等提出植被覆盖比例的概念，并找到了小麦冠层覆盖度与冬小麦冠层生物量之间的数学关系。1998年，纪寿文等采用双峰法滤除了土壤背景,根据杂草投影的面积、叶长、叶宽等与作物的特征差异，确定了其位置，对生长后期的玉米和棉花田间的单子叶杂草进行了识别。2004年，毛文华等依靠形状分析法分辨杂草信息，确定其位置后对水稻田中的杂草进行了在线的识别研究，并于2005年根据植物的位置来识别作物苗期田间杂草，建立了基于机器视觉的分割苗期田间杂草的算法DBW。2007年，毛罕平等引入颜色特征和颜色阈值，并结合贝叶斯理论，提高了杂草图像的分割精度，Tellaeche等在根据已知作物位置的前提下，利用颜色特征将背景和杂草分离。2015年，何姣以棉花为实验样本，将其覆盖度与人工观测的叶面积指数、植株高度所结合，得参数之间的数学关系并建立了关系模型。但这些算法均存在计算精度相对较低、跨算法运算等问题，随着深度学习2012年之后在计算机视觉领域的爆发，这些问题也得以解决。2014年，黄永祯等通过对ImageNet库上图像分类任务中AlexKrizhevsky提出的AlexNet网络进行微调(fine-tuning)得到的卷积神经网络解决了人物的前景与背景分割问题。2016年，贺娇瑜等首次利用卷积神经网络、超像素优化的卷积神经网络以及全卷积神经网络将气象观测中毫米波云雷达图的图像分割问题转化为对毫米波云雷达图像的像素及区域间关系的二分类识别问题，作为毫米波云图像的云分类系统的滤波模块。综上所述，传统的作物分割提取覆盖度算法需要复杂的跨算法运算处理且精读较低，还需要手工提取特征用来分割或是通过阈值判断进行分割等。本专利技术研究基于深度学习的作物与背景的自动分割问题，提出基于RGB和HSI关系阈值优化卷积神经网络的作物图像分割提取覆盖度方法。首先利用RGB先验阈值分割法对作物图进行初分割，保留作物主体和杂草，去除土地背景，再通过HSI阈值分割法保留绿色植物的边缘并解决光照等影响，最后将图像输入为区分作物与杂草及土地背景颜色、梯度特征而生成的卷积神经网络分类器模型中，利用分类结果对图像进行分割，将三个步骤所得的图像结合起来，得到最后的覆盖度分割图，同时解决了杂草检测及覆盖度提取的任务。
技术实现思路
本专利技术的目的是提供一种基于RGB和HSI先验阈值优化的卷积神经网络的作物图像分割提取覆盖度方法，用于解决传统的先验阈值分割法受作物图像中存在的田间杂物、下过雨或施肥后的土地以及光照阴影影响比较大而存在误分割的问题，如图1所示，其对于农作物病虫草害中作物间存在的杂草也会很难判断，(a)、(c)为待分割的原图，(b)、(d)为利用传统的先验阈值分割法分割后得到的结果图，可以看出图(a)中的设备阴影没有被分区分开，图(c)中由于施肥后受影响的土地也没有被区分开,所以我们希望提出一种能够利用图像特征解决绿色植物分割的方法。针对这些误分割现象，我们希望将已经趋于成熟的深度学习，应用于农业气象观测中作物覆盖度的提取检测生长状态以及农作物病虫草害的识别、监测与防治领域。首先利用较为严格的RGB阈值保留作物主体和杂草，再通过可以在一定程度上解决光照影响的HSI阈值保留绿色植物边缘和视觉上较为特殊的土地和杂物，最后利用卷积神经网络对之前保留下来的所有像素点逐一进行图像分类，结合分类结果对图像进行分割，得到覆盖度分割图，算法流程图如图2所示,卷积神经网络结构如图3所示。下边介绍一下这种作物图像分割方法的具体步骤：1、基于RGB、HSI阈值限定的图像预处理：本方法意在解决算法的效率问题，通过先验阈值分割保留需要通过卷积神经网络来判断的像素点，将以往对图像中全部像素点一一处理转化为对一部分需要进行判断的像素点进行处理，在一定程度上解决了对整张图像的所有像素点进行逐一分类造成的低效率问题，使算法更高效、准确。由于农业气象观测图像中，大多数情况作物和杂草像素RGB值的绿色分量与红色分量的差要多于土地背景的，所以我们首先设定一个严格阈值。当像素关系满足该阈值时，该像素点属于作物的可能性更大，我们需要将保留，通过这个步骤就可以保留作物主体和杂草，去除土地背景。在很多情况下，阳光照在作物的边缘，会造成其反射较强的光，此时作物的边缘的亮度较大；同样，若作物之间存在着当条件，则会造成阴影影响，此时作物的边缘亮度较小，这两种情况的出现，使得RGB阈值并不能够很好地将前景与背景区分，而将RGB转化为HSI空间，我们需要再设定一个较为宽泛的阈值。这样，我们就将完成了算法中的预处理工作，将绿色植物(包含作物、杂草以及一些杂物等)与土地分割出来了，如图4所示，通过RGB先验阈值分割可以得到的作物主体，通过HSI阈值分割法则能保留的绿色植物边缘，其余的像素点均作为图像的背景，不再参与后续的算法运算，这样在一定程度上解决了对整张图像的所有像素点进行逐一分类造成的低效率问题，使算法更高效、准确。2、训练样本集、验证样本集及测试样本集的制作我们提取图像的颜色、形状及梯度等特征，利用卷积神经网络训练分类器，将问题转化为对图像进行前景(作物)和背景(杂草、土壤)的二分类，利用分类结果进行分割。本专利技术的数据集主要有训练样本集、验证样本集及测试样本集三个方面。这三方面的制作原理完全相同，只是选取的数据范围有差异，故我们只对其中一种的获取方式做详细的介绍：由于作物观测图是利用河北固城观象台试验站图像分辨率为1700万像素的CanonEOS1200D单反相机拍摄的观测图，没有公开的数据集，所以我们需要制作groundtruth图作为训练CNN网络时候的监督信号，具体预处理操作如下：(1)生成groundtruth。如图5所示，(a)为原始作物观测图，(b)为利用Photoshop等画图软件手工将观测图像中前景和背景区域以分别以白颜色和黑颜色区分后标注的原始作物观测图所对应的groundtruth。我本文档来自技高网...

【技术保护点】
基于先验阈值优化卷积神经网络的作物覆盖度提取方法，其特征在于：首先利用RGB先验阈值分割法对作物图进行初分割，保留作物主体和杂草，去除土地背景，再通过HSI阈值分割法保留绿色植物的边缘并解决光照影响，最后将图像输入为区分作物与杂草及土地背景颜色、梯度特征而生成的卷积神经网络分类器模型中，利用分类结果对图像进行分割，将三个步骤所得的图像结合起来，得到最后的覆盖度分割图，同时解决了杂草检测及覆盖度提取的任务；首先利用RGB先验阈值分割法对作物图进行初分割，保留作物主体和杂草，去除土地背景，再通过HSI阈值分割法保留绿色植物的边缘并解决光照影响，具体如下：首先设定一个严格阈值:

【技术特征摘要】
1.基于先验阈值优化卷积神经网络的作物覆盖度提取方法，其特征在于：首先利用RGB先验阈值分割法对作物图进行初分割，保留作物主体和杂草，去除土地背景，再通过HSI阈值分割法保留绿色植物的边缘并解决光照影响，最后将图像输入为区分作物与杂草及土地背景颜色、梯度特征而生成的卷积神经网络分类器模型中，利用分类结果对图像进行分割，将三个步骤所得的图像结合起来，得到最后的覆盖度分割图，同时解决了杂草检测及覆盖度提取的任务；首先利用RGB先验阈值分割法对作物图进行初分割，保留作物主体和杂草，去除土地背景，再通过HSI阈值分割法保留绿色植物的边缘并解决光照影响，具体如下：首先设定一个严格阈值:其中，标注为1的像素对应于前景，标注为零的像素则对应背景，由公式可知，当像素点的绿色分量与红色分量之差大于16且绿色分量大于4...

【专利技术属性】
技术研发人员：毋立芳，张加楠，简萌，贺娇瑜，张世杰，刘爽，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11