一种基于CNN的鳞翅目昆虫种类自动鉴别方法技术

本发明专利技术涉及一种基于CNN的鳞翅目昆虫种类自动鉴别方法。本发明专利技术在预处理中对采集的昆虫标本图像去除背景，在此基础上计算出前景图像的最小包围盒，并由此裁剪出前景有效区域。使用Imagenet预训练深度学习神经网络模型来提取特征。分类识别分两种情况：在样本量较充分时，通过微调网络结构，训练深度卷积神经网络(DCNN)分类层的参数，从而实现端到端的分类识别；对于样本数据集较小的情况，没有足够样本来训练DCNN参数，本发明专利技术选择使用适用于小样本集的χ

An automatic identification method of Lepidoptera Insects Based on CNN

The invention relates to an automatic identification method of lepidopteran insects based on CNN. In the preprocessing, the background of the insect specimen image is removed, and the minimum bounding box of the foreground image is calculated, and the effective area of the foreground is cut out. Imagenet pre trained deep learning neural network model is used to extract features. The classification is divided into two situations: when sample size is sufficient, by means of adjusting the network structure, training of deep convolutional neural network (DCNN) parameter classification layer, so as to realize the classification and recognition of end to end; for the sample data set is small, not enough samples to train the DCNN parameters, the invention is suitable for use in small sample set X

【技术实现步骤摘要】
一种基于CNN的鳞翅目昆虫种类自动鉴别方法
本专利技术涉及一种基于CNN的昆虫种类自动鉴别方法，特别是对鳞翅目昆虫的自动鉴定，CNN是近几年来机器学习领域的研究热点，被广泛应用于在视觉对象识别、自然语言处理、语音分类等不同领域并取得了不俗的性能。本专利技术将CNN这种深度学习神经网络技术应用于昆虫图像的自动识别，用该技术设计的软件系统可应用于植物检疫、植物病虫害预测预报及其防治等领域，或可作为重要组成部分用于生态信息学研究的借鉴和参考。该项技术可被海关、植物检疫部门、农林病虫害防治等部门所采用。可为不具备有关专业知识的基层工作人员或农民提供自动鉴别的手段。
技术介绍
昆虫与人类的关系复杂而密切，一些种类给人类的生活和生产造成巨大的危害和损失，一些则给人类带来生态或经济上的重大利益。为了减轻害虫对农作物的影响，合理利用益虫，首先我们必须准确识别出昆虫的种类。然而，由于昆虫种类繁多，进化换代快，要识别昆虫却非易事。目前具备昆虫分类专业知识的昆虫研究者相对于昆虫分类的需求来说存在较大缺口，有些物种甚至在人类能对其命名和描述之前就灭绝了，而这种情况正变得越来越严峻。为解决昆虫分类鉴定需求和分类人员数量不足之间的矛盾，需要找到能辅助或代替人为鉴别昆虫的方法。近几十年来，图像处理与模式识别技术发展较快，因此采用这些技术来实现计算机辅助分类(CAT)便成为可能。使用先进计算机技术进行昆虫自动或辅助种类鉴定，客观性强，可以克服人为鉴定时主观情绪影响所带来的误判。计算机视觉技术的出现和快速发展使得计算机处理和分析图像的能力大大增强，一些计算机科学家和昆虫学家开始尝试使用计算机图像处理、模式识别等技术实现昆虫种类的自动鉴定。英国政府于1996年发起DAISY(DigitalAutomatedIdentificationSYstem)研究工程，在全世界范围内掀起了有关昆虫自动识别研究的热潮。DAISY项目后受达尔文项目资助，其功能被不断完善和扩展，甚至被用于鉴定活体蛾类。美国新墨西哥州立大学的JeffreyDrake博士也致力于使用高级数字图像分析和理解技术来开发从大范围的样本中快速鉴别出昆虫种类的软件系统，其研究受美国动植物卫生服务局和美国国家航空航天局资助。美国俄勒岗州立大学的植物生理学与植物学系的AndrewMoldenke等人开发了一套称为BugWing的基于网络的计算机辅助昆虫鉴别工具，利用昆虫的翅脉特征对具有透明翅的昆虫实现半自动的识别。2001年Steinhage等开发出的ABIS(TheAutomatedBeeIndentificationSystem)利用前翅的几何特征和外观特征鉴别蜜蜂，该系统需要手动定位昆虫的位置以及对前翅的先验专家知识。Al-Saqer等用归一化交叉相关、Fourier描述子、Zernike矩、串匹配和区域属性等五种方法相结合的处理方式实现了核桃象鼻虫的识别。美国华盛顿大学的Larios等近几年来一直致力于对石蝇幼虫种类的图像识别研究，提出了局部外观特征直方图串接，Haar随机森林提取特征、层叠判据树、层叠空域金字塔核等特征提取或分类方法，通过鉴定石蝇的种类和数量来监测河流等水环境的生态与健康情况。新西兰怀卡托大学的Mayo和Watson则使用ImageJ图像处理工具包与机器学习工具包WEKA对活蛾的种类识别进行了研究，使用WEKA中的SVM分类器进行10折交叉验证在含35种活蛾的数据集中取得平均85％的识别率。在国内，有代表性的昆虫图像自动识别研究小组为中国农业大学的IPMIST(植保生态智能技术系统)实验室，该实验室的成员先后对昆虫数学形态学、昆虫图像数字技术、昆虫数字图像分割技术、昆虫图像几何形状特征的提取技术、以及基于图像的昆虫远程自动识别系统等方面展开了研究，提出了基于颜色特征的昆虫自动鉴定、基于数学形态学的昆虫自动分类等多种方法。卷积神经网络(CNN)是一种用可训练的滤波器组与局部邻域池化操作交替使用于原始输入图像上并得到渐次复杂的层次化图像特征的一种深度学习模型。辅以适当的正则化手段，CNNs可以在不依赖于任何手工提取特征的情况下在视觉对象识别任务中取得非常理想的性能。迄今为至，CNN已被应用于手写数字识别，图像识别，图像分割、图像深度估计等诸多领域，相对于已有的模式识别和图像处理方法，性能上取得了相当大的提升。昆虫作为一种特殊的视觉对象，用CNN实现其种类的识别也必然是一种顺利成章的选择。
技术实现思路
本专利技术的目的在于提供一种自动识别鳞翅目昆虫图像的方法。它主要解决由昆虫图像样本通过计算机模式识别技术实现鳞翅目昆虫种类自动识别问题。能以较高性能有效识别出有显著特征的昆虫种类。昆虫标本无须使用化学方法去除翅面的鳞片和色斑，避免已有的基于翅脉特征的方法所带来的复杂处理过程。并解决基于图像形状特征的昆虫识别方法对残缺样本、图像尺度变化产生的精度性能下降。本专利技术采用的技术方案为：权利要求本专利技术的优点在于：本专利技术中的基于CNN的鳞翅目昆虫图像自动识别方法，不需要对昆虫图像用化学试剂去除表面鳞片和色斑，图像采集方法简便易操作，使用的方法更鲁棒，不仅对昆虫标本的部分破损有较好的容错能力，且在样本图像充分的前提下，同一网络中可同时对半翅、全翅及活体图像进行处理并识别。在预处理过程中，通过对采集的昆虫标本图像去除背景，及计算出前景图像的最小包围盒等操作，剪切出前景有效区域。特征提取时利用ImageNet数据集预训练得到的CNN模型来提取特征向量，提取到的特征不但具有尺度不变性及代表性，而且更加全面丰富。分类识别时，本专利技术划分两种情况：在样本量较充分时，微调预训练网络，训练优化深度卷积神经网络(DCNN)的全连接层或分类层的模型参数，来得到端到端的分类结果。当样本数据集较小时，不适用于依赖大样本的深度神经网络分类层的训练及调参，本专利技术跳过分类层，改用适用于小样本集的χ2核SVM分类器，以取得最佳的识别性能。附图说明图1标本图像的原图；图2从图1中去除背景后的标本图像；图3前景图像最小包围盒；图4AlexNetCNN网络结构示意图；具体实施方式本专利技术包括以下步骤：1)图像预处理：去除鳞翅目标本彩色图像的背景，对去除背景后的图像进行灰度化、高斯滤波后进行二值化，在该二值图像中找到最大轮廓，获得昆虫图像的前景蒙板。对前景轮廓求取最小包围盒，然后基于最小包围盒并剪切出原彩色图像的对应区域作为研究对象。但由于CNN模型的输入维度需固定，为防止图像变形，本专利技术以最小包围盒为依据对原彩色图进行相应尺度的剪切。ImageNet输入到CNN的图像大小为227×227，为了保证迁移学习获得的参数的有效性，我们输入到CNN的昆虫图像也预处理成同样大小。当最小包围盒的两边都小于227时，以包围盒为中心以尺度227×227剪切原图像相应区域。当最小包围盒有一边大于227时，先将图像等比例缩小到227×227内，再以此为中心，以所需尺度剪切原图像相应区域，得到目标图像。2)基于深度卷积神经网络的图像特征提取：得到相同大小的目标昆虫图像后，使用ImageNet预训练得到的CNN模型中训化好的特征提取层来提取昆虫的特征。3)分类鉴别：分类识别时，本专利技术划分两种情况。在样本量较充分时，微调预训练网络，对昆虫图像进行端本文档来自技高网...

【技术保护点】
一种基于CNN的鳞翅目昆虫种类自动鉴别方法，其特征在于包括以下步骤：1)图像预处理预处理对采集的昆虫标本图像去除背景，并基于昆虫前景图像计算出昆虫的最小包围盒，由此剪切出前景有效区域。由于CNN模型的输入维度需固定，在CNN特征提取前先对剪切得到的图像进行尺度预处理。2)图像特征提取在图像特征提取时，先使用ImageNet预训练CNN模型(本专利技术选用AlexNet和VGG16两种CNN网络)，用训练好的特征提取层来提取具有代表性的特征。3)分类鉴别分类识别时，本专利技术分两种情况分别处理。在样本量较充分时，通过微调Imagenet预训练网络，训练优化深度卷积神经网络(DCNN)后三层的模型参数，来得到端到端的分类结果；对于样本数据集较小的情况，不适合用依赖于大样本学习的深度神经网络分类层的训练及调参。本专利技术选择跳过其分类层，训练适用于小样本的χ

【技术特征摘要】
1.一种基于CNN的鳞翅目昆虫种类自动鉴别方法，其特征在于包括以下步骤：1)图像预处理预处理对采集的昆虫标本图像去除背景，并基于昆虫前景图像计算出昆虫的最小包围盒，由此剪切出前景有效区域。由于CNN模型的输入维度需固定，在CNN特征提取前先对剪切得到的图像进行尺度预处理。2)图像特征提取在图像特征提取时，先使用ImageNet预训练CNN模型(本发明选用AlexNet和VGG16两种CNN网络)，用训练好的特征提取层来提取具有代表性的特征。3)分类鉴别分类识别时，本发明分两种情况分别处理。在样本量较充分时，通过微调Imagenet预训练网络，训练优化深度卷积神经网络(DCNN)后三层的模型参数，来得到端到端的分类结果；对于样本数据集较小的情况，不适合用依赖于大样本学习的深度神经网络分类层的训练及调参。本发明选择跳过其分类层，训练适用于小样本的χ2核SVM分类器模型，最后进行分类识别。2.根据权利要求1所述的基于CNN的鳞翅目昆虫种类自动鉴别方法，其特征在于：在所述步骤1)中，使用以下方法之一去除标本图像的背景：用Lazysnapping方法去除标本图像的背景，方法是在需要保留的前景区域内用一种颜色的线条作标记，在需要去除的背景区域内用另一种颜色的线条作标记，LazySnapping算法自动计算出前景和背景之间的分界线，如果分割还不够精确则反复作标记微调，直至分界线符合要求；或用Grabcut工具去除标本图像的背景，方法是设置包含前景区域的最小矩形框，分割完成后将背景区域设置成黑色；或用GrabCut+LazySnapping工具完成背景去除工作，方法是先用GrabCut勾勒出前景区域，然后再用LazySnapping标记未去除的背景和误去除的前景，分割完成后将背景区域设置成黑色。3.根据权利要求1所述的基于CNN的鳞翅目昆虫种类自动鉴别方法，其特征在于：在所述步骤1)的图像预处理中，对去除背景后的图像求昆虫图像的最大包围盒，以这个最大包围盒为中心，截取227×227大小的正方形区域；如果包围盒的长或宽超出224，则缩...

【专利技术属性】
技术研发人员：竺乐庆，马梦园，张真，张苏芳，王勋，王慧燕，刘福，孔祥波，
申请(专利权)人：浙江工商大学，中国林业科学研究院森林生态环境与保护研究所，
类型：发明
国别省市：浙江,33