基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法技术

本发明专利技术涉及一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，其解决了现有剪切式自动采摘方法直接在果柄处进行操作对果实损伤大，影响结果枝第二年的产果量的技术问题，其首先构建果实目标检测数据集和结果枝关键点检测数据集并进行标注，其次进行目标检测模型训练和关键点检测模型训练，然后识别采摘用结果枝剪切点。本发明专利技术可广泛应用于剪切式自动采摘系统。

【技术实现步骤摘要】
基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法
本专利技术涉及果实自动采摘
，具体而言，涉及一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法。
技术介绍
果实采摘是果园生产管理的重要环节，越来越多的技术人员开始进行采摘自动化探索和研究，不仅有利于降低人工劳动强度，提高生产效率和经济效益，而且对于推动我国农业现代化发展具有重要意义。参考公布号为CN104584779A的专利技术申请以及公布号为CN102577755A的专利技术申请，现有的果树自动采摘机器人系统主要依靠视觉系统对果实进行识别与定位，然后控制机械臂进行采摘。采摘常用的方法有拍打振动、抓取、气吸、扭摘、剪切等方式，其中剪切式自动采摘直接在果柄处进行操作，存在对果实损伤大的问题，也会影响结果枝第二年的产果量。不使用自动采摘机器人系统的人工采摘过程中，多采用“一果两剪”的方法，第一剪连同果柄剪下，常连带两到三片叶子，顺带对果实结果枝进行修剪(避免春梢丛发，有利于提高第二年的产果量)；第二剪在不伤果蒂的情况下，平果蒂剪果柄。因此，为了解决剪切式自动采摘过程本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，其特征是，包括以下步骤：/n第一步，构建数据集合用于果实目标检测、结果枝关键点检测的模型训练；/n步骤(1)，利用图像采集设备拍摄果树图像实现果实目标检测数据采集；/n步骤(2)，利用图像采集设备拍摄果树图像实现结果枝关键点检测数据采集；/n步骤(3)，数据标注，按照目标检测、关键点检测两类任务对采集数据进行标注；针对目标检测，对图像上果实所在矩形区域进行标注，每个果实的标注结果为矩形区域的左上角和右下角坐标{(fx

【技术特征摘要】
1.一种基于深度卷积神经网络的采摘用果树结果枝剪切点定位方法，其特征是，包括以下步骤：
第一步，构建数据集合用于果实目标检测、结果枝关键点检测的模型训练；
步骤(1)，利用图像采集设备拍摄果树图像实现果实目标检测数据采集；
步骤(2)，利用图像采集设备拍摄果树图像实现结果枝关键点检测数据采集；
步骤(3)，数据标注，按照目标检测、关键点检测两类任务对采集数据进行标注；针对目标检测，对图像上果实所在矩形区域进行标注，每个果实的标注结果为矩形区域的左上角和右下角坐标{(fx1,fy1),(fx2,fy2)}；针对关键点检测，对结果枝上的三个关键点进行标注，标注果柄关键点P1，标注结果枝与短分枝的连接点P2，标注结果枝上的剪切点P3，每组结果枝的标注结果为P1、P2、P3三个关键点的坐标{(px1,py1),(px2,py2),(px3,py3)}；如果不存在短分枝，P2和P1同坐标；
第二步，模型训练；
步骤(1)，目标检测模型训练，将所述第一步获得的果实目标检测数据通过深度卷积神经网络进行训练，得到目标检测模型；
步骤(2)，关键点检测模型训练，第一步生成结果枝检测区域，利用果实矩形区域，训练果柄关键点P1检测模型，基于检测得到的P1坐标，扩展生成结果枝检测区域；第二步定位结果枝上的三个关键点，利用结果枝检测区域，训练结果枝关键点检测模型，获得P1、P2和P3的位置；
第三步，采摘用结果枝剪切点识别过程；
步骤(1)，利用图像采集设备拍摄果树果实及其结果枝的图像集合xo；
步骤(2)，使用目标检测模型，对图像集合xo进行目标检测。目标检测模型和训练出的模型参数共同构成函数Fo，在图像集合xo中得到n个果实矩形区域坐标及对应置信得分：



步骤(3)，使用关键点检测模型对图像集合xo进行采摘用结果枝剪切点的定位，首先，对图像集合xo和n个果实矩形区域及对应置信得分生成结果枝检测区域，果柄关键点检测模型和训练出的模型参数共同构成函数Fa，在果实图像集合xo和n个果实矩形区域及对应置信得分上，得到n个果柄关键点坐标：



其次，将果实矩形区域向果实果柄方向扩展，得到n个结果枝检测区域坐标：；
然后，对图像集合xo和结果枝检测区域，进行结果枝关键点检测，结果枝关键点检测模型和训练出的模型参数共同构成函数Fb，在果实图像集合xo和n个结果枝检测区域及对应置信得分上，得到n组结果枝的P1、P2和P3关键点坐标，其中，结果枝上距离果实最远的关键点P3即为采摘用结果枝剪切点：





2.根据权利要求1所述...

【专利技术属性】
技术研发人员：柴秀娟，孙琦鑫，周国民，孙坦，
申请(专利权)人：中国农业科学院农业信息研究所，
类型：发明
国别省市：北京;11