基于三维姿态估计的昆虫识别装置及方法制造方法及图纸

本发明专利技术提供一种基于三维姿态估计的昆虫识别装置及方法，装置包括：三维姿态信息获取模块，用于获取待识别昆虫的三维姿态信息，所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息；昆虫特征提取模块，用于获取待识别昆虫的特征信息，所述特征信息包括形态特征、颜色特征和纹理特征；昆虫类型识别模块，用于根据待识别昆虫的三维姿态信息以及特性信息，利用预先构建的基于支持向量机SVM的昆虫识别模型，对所述待识别昆虫进行识别，获取所述待识别昆虫的类型识别结果。本发明专利技术能够有效提高昆虫识别率。

Insect recognition device and method based on three-dimensional pose estimation

The invention provides a device including insect identification device and method for 3D pose estimation based on 3D pose information acquisition module for acquiring 3D pose information to identify insects, the 3D pose information including the insect wing rotation angle and torso deformation information; insect feature extraction module, used to obtain the feature information to identify insects. The characteristic information including morphological features, color features and texture features; insect type identification module, according to the identification of insects for 3D pose information and feature information, using pre construction insect identification model of support vector machine based on SVM is built, the identified insect identification, identification result to obtain the unknown insect. The invention can effectively improve the recognition rate of insects.

【技术实现步骤摘要】
基于三维姿态估计的昆虫识别装置及方法
本专利技术涉及农业
，具体涉及一种基于三维姿态估计的昆虫识别装置及方法。
技术介绍
鳞翅目害虫对农作物造成的危害严重，是田间害虫监测的重点对象，害虫种类和数量信息的获取是害虫精准防控的重要前提。目前，害虫种类、数量信息的获取主要通过病虫观测场调查以及大田普查相结合的方法，这些方法费时费力且主观因素影响较大，时效性弱，不能满足生产实际需求。随着计算机技术的发展，基于图像的害虫自动识别技术具有省时省力、智能化等优点，目前该方法已成为田间害虫自动识别、计数的一种主要方法。灯诱是昆虫诱集的一种主要方式，灯诱昆虫种类多、姿态多样，昆虫自动识别难度大，目前主要应用二维图像技术进行灯诱昆虫的监测识别。该方法基于平面式载物台所获取的昆虫图像信息是单面的，或者是有透明物阻隔的图像，昆虫图像信息的完整性受到影响，影响昆虫的识别效果。此外，基于图像特征信息、二维姿态信息的昆虫识别算法当遇到多种类、多姿态的昆虫时，由于三维虫体进行二维图像获取时造成信息缺失，其识别算法的普适性受到影响，影响昆虫自动识别准确率。
技术实现思路
针对现有技术中的缺陷，本专利技术提供了一种基于三维姿态估计的昆虫识别装置及方法，本专利技术能够有效提高昆虫识别率。为解决上述技术问题，本专利技术提供以下技术方案：第一方面，本专利技术提供了一种基于三维姿态估计的昆虫识别装置，包括：三维姿态信息获取模块，用于获取待识别昆虫的三维姿态信息，所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息；昆虫特征提取模块，用于获取待识别昆虫的特征信息，所述特征信息包括形态特征、颜色特征和纹理特征；昆虫类型识别模块，用于根据待识别昆虫的三维姿态信息以及特性信息，利用预先构建的基于支持向量机SVM的昆虫识别模型，对所述待识别昆虫进行识别，获取所述待识别昆虫的类型识别结果。进一步地，所述三维姿态信息获取模块采用昆虫图像采集装置获取待识别昆虫的三维姿态信息；其中，所述昆虫图像采集装置包括：昆虫扎取单元和基于立体视觉的图像采集单元；其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；所述摆臂运动模块，固定在所述底座上，包括：第三电机、行星齿轮减速机、旋转轴和支架，所述支架包括丝杆和螺母套；所述行星齿轮减速机与所述旋转轴连接，所述第三电机用于驱动所述行星齿轮减速机转动，由旋转轴带动所述扎虫模块做摆臂运动；所述水平运动模块，包括：依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂；所述传动轴通过螺母套固定于所述支架上，所述第二电机用于带动所述传动轴，所述传动轴用于驱动所述第一滚珠丝杆组件，所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动；所述旋转运动模块，包括：第四电机、同步带、同步轮和法兰盘；所述第四电机通过所述同步带带动所述同步轮转动，所述法兰盘与所述同步轮连接，所述法兰盘与所述扎虫模块连接，用于带动所述扎虫模块进行转动；所述扎虫模块，包括：针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针；所述第五电机与所述第二滚珠丝杆组件连接，所述第二滚珠丝杆组件与所述推杆连接，所述弹簧位于所述推杆与所述针杆之间，所述针固定槽位于所述针杆末端，用于固定所述扎虫针，所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落；其中，所述基于立体视觉的图像采集单元包括：云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD；其中，第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置；所述云台与所述半圆形支架连接，用于固定所述第一CCD、第二CCD和第三CCD。进一步地，所述三维姿态信息获取模块，具体用于：选取能够代表昆虫姿态信息的部位，包括昆虫的翅膀和昆虫的躯干，昆虫的翅膀姿态特征包括肩角、顶角、臀角，昆虫的躯干姿态特征包括头、腹部末端、躯干骨架；通过选取昆虫前后翅膀的肩角、顶角、臀角，头、腹部末端、躯干骨架这些有代表性的部位，并判断这些部位所处的空间位置以及特征点所组成的面，即可分析出昆虫翅膀的旋转角度以及躯干变形信息；以及，采用昆虫图像采集装置获取待识别昆虫的三维姿态信息：对第一CCD、第二CCD、第三CCD进行标定；通过基于立体视觉的图像采集单元获取背景图像、待识别昆虫的图像；将待识别昆虫的图像进行压缩、裁剪、去噪的图像预处理过程，得到预处理后的图像；将预处理后的图像转化成为HSV颜色空间图像；选择H颜色分量图像，将昆虫图像与背景图像进行差分，进行背景去噪；基于边缘检测、孔洞填充、去噪进行昆虫分割；将第一CCD、第三CCD所获取的图像进行比较，以昆虫胸部有无足的特征进行虫体正反面的确定，选择正面图像、第二CCD获取的图像进行姿态信息的获取；若因姿态变化没有正面图像，则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理；应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索，应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位；通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架，通过曲线拟合获取躯干变形信息；基于极线约束实现特征点的立体匹配，计算特征点的三维空间位置信息，与预设标准姿态虫体进行比较，获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。进一步地，所述昆虫特征提取模块，具体用于：基于待识别昆虫正面和/或反面的二维图像执行如下过程：对所述二维图像进行压缩、裁剪、去噪的图像预处理过程，得到预处理后的图像；将预处理后的图像转化成为HSV颜色空间图像；将预处理后的图像转化成为灰度图像；选择H颜色分量图像，将昆虫图像与背景图像进行差分，进行背景去噪；基于边缘检测、孔洞填充、去噪进行昆虫分割，得到分割图像；基于分割图像提取昆虫形状特征；将分割图像与HSV颜色空间图像相结合提取相应颜色特征；将分割图像与灰度图像相结合提取纹理特征。进一步地，所述昆虫类型识别模块，具体用于：构建基于支持向量机SVM的昆虫识别模型；以及，将待识别昆虫的三维姿态信息以及特性信息输入所述昆虫识别模型并接收所述昆虫识别模型输出的昆虫识别结果，实现基于三维姿态估计的昆虫识别；其中，构建基于支持向量机SVM的昆虫识别模型，包括：基于所述昆虫图像采集装置获取多姿态昆虫建模样本图像，通过图像处理提取建模样本昆虫的三维姿态信息和特征信息，并将并所提取的信息作为输入因子，将昆虫种类作为输出因子，对昆虫识别模型进行训练，构建基于支持向量机SVM的昆虫识别模型；其中，所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息；所述特征信息包括形态特征、颜色特征和纹理特征。第二方面，本专利技术还提供了一种基于三维姿态估计的昆虫识别方法，包括：获取待识别昆虫的三维姿态信息，所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息；获取待识别昆虫的特征信息，所述特征信息包括形态特征、颜色特征和纹理特征；根据待识别昆虫的三维姿态信息以及特性信息，利用预先构建的基于支持向量机SVM的昆虫识别模型对所述待识别昆虫进行识别，获取所述待识别昆虫的类型识别结果。进一步地，获取待识别昆虫的三维姿态信息，具体包括本文档来自技高网...

【技术保护点】
一种基于三维姿态估计的昆虫识别装置，其特征在于，包括：三维姿态信息获取模块，用于获取待识别昆虫的三维姿态信息，所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息；昆虫特征提取模块，用于获取待识别昆虫的特征信息，所述特征信息包括形态特征、颜色特征和纹理特征；昆虫类型识别模块，用于根据待识别昆虫的三维姿态信息以及特性信息，利用预先构建的基于支持向量机SVM的昆虫识别模型，对所述待识别昆虫进行识别，获取所述待识别昆虫的类型识别结果。

【技术特征摘要】
1.一种基于三维姿态估计的昆虫识别装置，其特征在于，包括：三维姿态信息获取模块，用于获取待识别昆虫的三维姿态信息，所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息；昆虫特征提取模块，用于获取待识别昆虫的特征信息，所述特征信息包括形态特征、颜色特征和纹理特征；昆虫类型识别模块，用于根据待识别昆虫的三维姿态信息以及特性信息，利用预先构建的基于支持向量机SVM的昆虫识别模型，对所述待识别昆虫进行识别，获取所述待识别昆虫的类型识别结果。2.根据权利要求1所述的装置，其特征在于，所述三维姿态信息获取模块采用昆虫图像采集装置获取待识别昆虫的三维姿态信息；其中，所述昆虫图像采集装置包括：昆虫扎取单元和基于立体视觉的图像采集单元；其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；所述摆臂运动模块，固定在所述底座上，包括：第三电机、行星齿轮减速机、旋转轴和支架，所述支架包括丝杆和螺母套；所述行星齿轮减速机与所述旋转轴连接，所述第三电机用于驱动所述行星齿轮减速机转动，由旋转轴带动所述扎虫模块做摆臂运动；所述水平运动模块，包括：依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂；所述传动轴通过螺母套固定于所述支架上，所述第二电机用于带动所述传动轴，所述传动轴用于驱动所述第一滚珠丝杆组件，所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动；所述旋转运动模块，包括：第四电机、同步带、同步轮和法兰盘；所述第四电机通过所述同步带带动所述同步轮转动，所述法兰盘与所述同步轮连接，所述法兰盘与所述扎虫模块连接，用于带动所述扎虫模块进行转动；所述扎虫模块，包括：针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针；所述第五电机与所述第二滚珠丝杆组件连接，所述第二滚珠丝杆组件与所述推杆连接，所述弹簧位于所述推杆与所述针杆之间，所述针固定槽位于所述针杆末端，用于固定所述扎虫针，所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落；其中，所述基于立体视觉的图像采集单元包括：云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD；其中，第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置；所述云台与所述半圆形支架连接，用于固定所述第一CCD、第二CCD和第三CCD。3.根据权利要求2所述的装置，其特征在于，所述三维姿态信息获取模块，具体用于：选取能够代表昆虫姿态信息的部位，包括昆虫的翅膀和昆虫的躯干，昆虫的翅膀姿态特征包括肩角、顶角、臀角，昆虫的躯干姿态特征包括头、腹部末端、躯干骨架；通过选取昆虫前后翅膀的肩角、顶角、臀角，头、腹部末端、躯干骨架这些有代表性的部位，并判断这些部位所处的空间位置以及特征点所组成的面，即可分析出昆虫翅膀的旋转角度以及躯干变形信息；以及，采用昆虫图像采集装置获取待识别昆虫的三维姿态信息：对第一CCD、第二CCD、第三CCD进行标定；通过基于立体视觉的图像采集单元获取背景图像、待识别昆虫的图像；将待识别昆虫的图像进行压缩、裁剪、去噪的图像预处理过程，得到预处理后的图像；将预处理后的图像转化成为HSV颜色空间图像；选择H颜色分量图像，将昆虫图像与背景图像进行差分，进行背景去噪；基于边缘检测、孔洞填充、去噪进行昆虫分割；将第一CCD、第三CCD所获取的图像进行比较，以昆虫胸部有无足的特征进行虫体正反面的确定，选择正面图像、第二CCD获取的图像进行姿态信息的获取；若因姿态变化没有正面图像，则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理；应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索，应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位；通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架，通过曲线拟合获取躯干变形信息；基于极线约束实现特征点的立体匹配，计算特征点的三维空间位置信息，与预设标准姿态虫体进行比较，获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。4.根据权利要求3所述的装置，其特征在于，所述昆虫特征提取模块，具体用于：基于待识别昆虫正面和/或反面的二维图像执行如下过程：对所述二维图像进行压缩、裁剪、去噪的图像预处理过程，得到预处理后的图像；将预处理后的图像转化成为HSV颜色空间图像；将预处理后的图像转化成为灰度图像；选择H颜色分量图像，将昆虫图像与背景图像进行差分，进行背景去噪；基于边缘检测、孔洞填充、去噪进行昆虫分割，得到分割图像；基于分割图像提取昆虫形状特征；将分割图像与HSV颜色空间图像相结合提取相应颜色特征；将分割图像与灰度图像相结合提取纹理特征。5.根据权利要求4所述的装置，其特征在于，所述昆虫类型识别模块，具体用于：构建基于支持向量机SVM的昆虫识别模型；以及，将待识别昆虫的三维姿态信息以及特性信息输入所述昆虫识别模型并接收所述昆虫识别模型输出的昆虫识别结果，实现基于三维姿态估计的昆虫识别；其中，构建基于支持向量机SVM的昆虫识别模型，包括：基于所述昆虫图像采集装置获取多姿态昆虫建模样本图像，通过图像处理提取建模样本昆虫的三维姿态信息和特征信息，并将并所提取的信息作为输入因子，将昆虫种类作为输出因子，对昆虫识别模型进行训练，构建基于支持向量机SVM的昆虫识别模型；其中，所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息；所述特征信息包括形态特征、颜色特征和纹理特征。6.一种基于三维姿态估计的昆虫识别方法，其特征在于，包括...

【专利技术属性】
技术研发人员：陈梅香，张睿珂，李明，温俊宝，杨信廷，赵丽，
申请(专利权)人：北京农业信息技术研究中心，
类型：发明
国别省市：北京,11