一种基于深度学习和计算机视觉的串番茄成熟度检测方法技术

本发明专利技术涉及计算机视觉技术和串番茄成熟度检测技术领域，具体涉及一种基于深度学习和计算机视觉的串番茄成熟度检测方法。该方法包括：建立基于深度学习的第一级SSD目标检测模型和第二级AlexNet目标检测模型；获取第一级SSD目标检测网络的最后一层输出的包含所有检测目标的位置及置信度信息的一级区域信息；计算待检测图像中的各检测目标在世界坐标系下的实际长度，并判断实际长度是否符合串番茄合格条件；获取第二级AlexNet目标检测网络的最后一层输出的包含该检测目标的所有单个果实的位置及置信度信息的二级区域信息；计算串番茄果实成熟度。本发明专利技术识别检测速度快、泛化能力强、可移植性较强，实现串番茄果实成熟度的实时检测。

A method of tomato maturity detection based on deep learning and computer vision

The invention relates to the field of computer vision technology and string tomato maturity detection technology, in particular to a string tomato maturity detection method based on depth learning and computer vision. This method includes: building the first level SSD target detection model and the second level alexnet target detection model based on deep learning; obtaining the first level region information including the location and confidence information of all the detected targets output by the last level of the first level SSD target detection network; calculating the actual length of each detected target in the image to be detected in the world coordinate system, and judging the actual length Whether the degree meets the qualification conditions of string tomato; obtain the second level regional information of the position and confidence information of all single fruits including the detection target output by the last layer of the second level alexnet target detection network; calculate the maturity of string tomato fruit. The invention has the advantages of fast identification and detection speed, strong generalization ability and strong portability, and realizes the real-time detection of ripeness of tomato string fruit.

【技术实现步骤摘要】
一种基于深度学习和计算机视觉的串番茄成熟度检测方法
本专利技术涉及计算机视觉技术和串番茄成熟度检测
，具体涉及一种基于深度学习和计算机视觉的串番茄成熟度检测方法。
技术介绍
串番茄，又名穗番茄，是一种成串收获上市的番茄品种，其突出的优点是果实品质较好、肉质较厚、富含多种维生素、口感特殊、易于种植且种植效益好，因此大棚串番茄成为了广大菜农争相种植的蔬菜品种。当前我国种植的串番茄在收获时基本上依靠人工来完成，其采摘费用约为1.05万元/hm2，占总生产成本的30％以上，而采用自动化采收，对保障串番茄的安全供应和高效生产具有重要意义。在温室环境下，采摘机器人进行串番茄的采摘作业时首先要根据串番茄的成熟度判别果实是否适合采收，进而识别定位果实，最终引导机械手完成果实采收。由于采摘机器人工作在非结构环境，受自然光照、生物多样性等不确定因素的影响，如何识别串番茄并得到成熟度信息成为难点。近些年来，很多基于传统算法的番茄检测识别算法被相继提出，受限于传统算法自身的局限性，传统算法场景适应性差，对于光照变化明显、背景干扰严重、目标被遮挡的情况检测效果较差，因而为了提高串番茄果实在非结构环境下的识别准确率，提高优质成熟串番茄的自动化采摘效率，传统算法逐渐被鲁棒性更强的深度学习检测算法所取代。基于深度学习的目标检测主要分为两类：一类为基于区域的目标检测与识别算法，一类为基于回归的目标检测与识别算法，其中基于回归的目标检测与识别算法实时性较好、准确率较高。
技术实现思路
针对目前采摘机器人对于采收串番茄成熟度判别的需求，本专利技术的目的是提供一种基于深度学习和计算机视觉的串番茄成熟度检测方法，能够满足真实采摘作业时串番茄实时检测的需要，识别检测速度快，适应真实采摘作业时串番茄生长环境的复杂性，泛化能力强，对于光照变化复杂及遮挡、背景干扰等有较强的抗干扰能力，能够根据果实长度和成熟度自动筛选适合采摘的优质串番茄，避免造成误采未达标或未成熟果实的情况发生，可移植性较强，可在多个操作平台植入使用，实现串番茄果实成熟度的实时检测，解决在非结构化环境下采摘目标信息获取鲁棒性的问题。为了实现上述目的，本专利技术提供了如下技术方案：一种基于深度学习和计算机视觉的串番茄成熟度检测方法，该方法包括如下步骤：步骤1、建立基于深度学习的第一级SSD目标检测模型和第二级AlexNet目标检测模型；步骤1.1、采集多幅串番茄目标图像，建立串番茄目标图像数据集，将整串串番茄果实作为目标对串番茄目标图像数据集中的各图像进行一级标注，得到含有标注框的图像，标注框内即为整串串番茄果实；其中，一级标注信息包括目标的一级类别和一级区域信息；一级类别表示标注框内是否包含串番茄果实；一级区域信息包括整串串番茄果实的位置；将标注后的串番茄目标图像数据集按照VOC格式生成第一级SSD目标检测样本库；步骤1.2、建立第一级SSD目标检测网络，用步骤1.1获得的第一级SSD目标检测样本库训练得到第一级SSD目标检测模型；步骤1.3、按照步骤1.1中的第一级SSD目标检测样本库的标注信息输出标注框内的图像，并对图像进行归一化处理，将归一化后的图像作为第二级目标检测网络的图像数据集，将串番茄的单个果实作为目标对图像数据集中各图像进行二级标注，得到第二级AlexNet目标检测样本库，二级标注信息包括目标的二级类别和二级区域信息，二级类别表示串番茄的单个果实为成熟果实或未成熟果实；二级区域信息包括不同成熟度的串番茄的单个果实的位置；步骤1.4、建立第二级AlexNet目标检测网络，用步骤1.3获得的第二级AlexNet目标检测样本库训练得到第二级AlexNet目标检测模型；步骤2、将一幅含有一个或多个检测目标的待检测图像输入到步骤1获得的第一级SSD目标检测模型中，获取第一级SSD目标检测网络的最后一层输出的包含所有检测目标的位置及置信度信息的一级区域信息L1：L1＝{li|li＝(xmin,xmax,ymin,ymax,height,width,si,cl1),i＝1,2…}其中，检测目标为整串串番茄果实；li为第i个检测目标，xmin为第i个检测目标所在区域的左上角及左下角点的横坐标，xmax为第i个检测目标所在区域的右上角及右下角点的横坐标，ymin为第i个检测目标所在区域的左上角及右上角点的纵坐标，ymax为第i个检测目标所在区域的左下角及右下角点的纵坐标，height为输入的待检测图像高度，width为输入的待检测图像宽度，si为第i个检测目标所在区域内含有目标的置信度，cl1为第i个检测目标所在区域内的类别，取值为1，即表示包含整串串番茄果实；步骤3、根据图像像素坐标和世界坐标之间的矩阵转换关系，以及包含步骤2中所有检测目标的位置及置信度信息的一级区域信息L1，计算待检测图像中的各检测目标在世界坐标系下的实际长度Y，并判断实际长度Y是否符合串番茄合格条件：180mm<Y<250mm，若符合串番茄合格条件，则生成该检测目标所在区域图像，进行步骤4；若不符合串番茄合格条件，则输出检测失败，结束检测；所述图像像素坐标和世界坐标之间的矩阵转换关系式如下：其中，Zc为相机坐标系下点的Z坐标值，u、v分别为像素坐标系下点的横、纵坐标值，Xw、Yw、Zw分别为世界坐标系下点的X、Y、Z坐标值，dx为像素坐标系下x轴方向上的分辨率，dy为像素坐标系下y轴方向上的分辨率，f为相机焦距，fx为fy为R是一个4×4矩阵为世界坐标系变换到相机坐标系的旋转矩阵，T是一个3×1矩阵为从世界坐标系变换到相机坐标系的平移矩阵，(u0,v0)为参考坐标是图像平面中心坐标；代表一个取值为[000]的矩阵；步骤4、将步骤3生成的符合串番茄合格条件的检测目标所在区域图像采用与步骤1.3相同的归一化处理方法进行归一化处理，并将处理结果输入至步骤1获得的第二级AlexNet目标检测模型中，获取第二级AlexNet目标检测网络的最后一层输出的包含该检测目标的所有单个果实的位置及置信度信息的二级区域信息L2：L2＝{lij|lij＝(xmin,xmax,ymin,ymax,height,width,sij,cl2),i＝1,2…；j＝1,2…}其中，lij为第i个检测目标的第j个果实，xmin为第i个检测目标的第j个果实所在区域的左上角及左下角点的横坐标，xmax为第i个检测目标的第j个果实所在区域的右上角及右下角点的横坐标，ymin为第i个检测目标的第j个果实所在区域的左上角及右上角点的纵坐标，ymax为第i个检测目标的第j个果实所在区域的左下角及右下角点的纵坐标，height为输入的检测目标所在区域图像高度，width为输入的检测目标所在区域图像宽度，sij为第i个检测目标的第j个果实所在区域内含有果实的置信度，cl2为第i个检测目标的第j个果实所在区域内的类别，类别分为成熟果实，取值为1，以及未成熟果实，取值为2；然后统计该检测目标所在区域图像中分类为成熟果实的个数C1和分类为未成本文档来自技高网...

【技术保护点】
1.一种基于深度学习和计算机视觉的串番茄成熟度检测方法，其特征在于：该方法包括如下步骤：/n步骤1、建立基于深度学习的第一级SSD目标检测模型和第二级AlexNet目标检测模型；/n步骤1.1、采集多幅串番茄目标图像，建立串番茄目标图像数据集，将整串串番茄果实作为目标对串番茄目标图像数据集中的各图像进行一级标注，得到含有标注框的图像，标注框内即为整串串番茄果实；其中，一级标注信息包括目标的一级类别和一级区域信息；一级类别表示标注框内是否包含串番茄果实；一级区域信息包括整串串番茄果实的位置；将标注后的串番茄目标图像数据集按照VOC格式生成第一级SSD目标检测样本库；/n步骤1.2、建立第一级SSD目标检测网络，用步骤1.1获得的第一级SSD目标检测样本库训练得到第一级SSD目标检测模型；/n步骤1.3、按照步骤1.1中的第一级SSD目标检测样本库的标注信息输出标注框内的图像，并对图像进行归一化处理，将归一化后的图像作为第二级目标检测网络的图像数据集，将串番茄的单个果实作为目标对图像数据集中各图像进行二级标注，得到第二级AlexNet目标检测样本库，二级标注信息包括目标的二级类别和二级区域信息，二级类别表示串番茄的单个果实为成熟果实或未成熟果实；二级区域信息包括不同成熟度的串番茄的单个果实的位置；/n步骤1.4、建立第二级AlexNet目标检测网络，用步骤1.3获得的第二级AlexNet目标检测样本库训练得到第二级AlexNet目标检测模型；/n步骤2、将一幅含有一个或多个检测目标的待检测图像输入到步骤1获得的第一级SSD目标检测模型中，获取第一级SSD目标检测网络的最后一层输出的包含所有检测目标的位置及置信度信息的一级区域信息L...

【技术特征摘要】
1.一种基于深度学习和计算机视觉的串番茄成熟度检测方法，其特征在于：该方法包括如下步骤：
步骤1、建立基于深度学习的第一级SSD目标检测模型和第二级AlexNet目标检测模型；
步骤1.1、采集多幅串番茄目标图像，建立串番茄目标图像数据集，将整串串番茄果实作为目标对串番茄目标图像数据集中的各图像进行一级标注，得到含有标注框的图像，标注框内即为整串串番茄果实；其中，一级标注信息包括目标的一级类别和一级区域信息；一级类别表示标注框内是否包含串番茄果实；一级区域信息包括整串串番茄果实的位置；将标注后的串番茄目标图像数据集按照VOC格式生成第一级SSD目标检测样本库；
步骤1.2、建立第一级SSD目标检测网络，用步骤1.1获得的第一级SSD目标检测样本库训练得到第一级SSD目标检测模型；
步骤1.3、按照步骤1.1中的第一级SSD目标检测样本库的标注信息输出标注框内的图像，并对图像进行归一化处理，将归一化后的图像作为第二级目标检测网络的图像数据集，将串番茄的单个果实作为目标对图像数据集中各图像进行二级标注，得到第二级AlexNet目标检测样本库，二级标注信息包括目标的二级类别和二级区域信息，二级类别表示串番茄的单个果实为成熟果实或未成熟果实；二级区域信息包括不同成熟度的串番茄的单个果实的位置；
步骤1.4、建立第二级AlexNet目标检测网络，用步骤1.3获得的第二级AlexNet目标检测样本库训练得到第二级AlexNet目标检测模型；
步骤2、将一幅含有一个或多个检测目标的待检测图像输入到步骤1获得的第一级SSD目标检测模型中，获取第一级SSD目标检测网络的最后一层输出的包含所有检测目标的位置及置信度信息的一级区域信息L1：
L1＝{li|li＝(xmin,xmax,ymin,ymax,height,width,si,cl1),i＝1,2…}
其中，检测目标为整串串番茄果实；li为第i个检测目标，xmin为第i个检测目标所在区域的左上角及左下角点的横坐标，xmax为第i个检测目标所在区域的右上角及右下角点的横坐标，ymin为第i个检测目标所在区域的左上角及右上角点的纵坐标，ymax为第i个检测目标所在区域的左下角及右下角点的纵坐标，height为输入的待检测图像高度，width为输入的待检测图像宽度，si为第i个检测目标所在区域内含有目标的置信度，cl1为第i个检测目标所在区域内的类别，取值为1，即表示包含整串串番茄果实；
步骤3、根据图像像素坐标和世界坐标之间的矩阵转换关系，以及包含步骤2中所有检测目标的位置及置信度信息的一级区域信息L1，计算待检测图像中的各检测目标在世界坐标系下的实际长度Y，并判断实际长度Y是否符合串番茄合格条件：180mm<Y<250mm，若符合串番茄合格条件，则生成该检测目标所在区域图像，进行步骤4；若不符合串番茄合格条件，则输出检测失败，结束检测；
所述图像像素坐标和世界坐标之间的矩阵转换关系式如下：



其中，Zc为相机坐标系下点的Z坐标值，u、v分别为像素坐标系下点的横、纵坐标值，Xw、Yw、Zw分别为世界坐标系下点的X、Y、Z坐标值，dx为像素坐标系下x轴方向上的分辨率，dy为像素坐标系下y轴方向上的分辨率，f为相机焦距，fx为fy为R是一个4×4矩阵为世界坐标系变换到相机坐标系的旋转矩阵，T是一个3×1矩阵为从...

【专利技术属性】
技术研发人员：袁挺，吕琳，张帆，张帅辉，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：北京;11