基于视觉识别定位的水果自动化采摘方法及装置制造方法及图纸

本发明专利技术公开了一种基于视觉识别定位的水果自动化采摘方法及装置，方法包括如下步骤：S1、彩色图像采集；S2、提取RGB三个单通道灰度图像；S3、选取颜色分量明显的单通道图像；S4、图像预处理；S5、判断图像中是否有水果目标；S6、获取水果目标在计算机像素坐标系中的坐标；S7、将像素坐标变换为世界坐标系坐标；S8、计算抓取机械爪的平面移动量；S9、控制抓取机械爪移动，使水果目标位于摄像机成像平面中心；S10、控制抓取机械爪垂直于成像平面向前移动；S11、抓取水果目标，切断果梗；S12、抓取机械爪松开，水果落入收集箱。本发明专利技术通过图像处理与特征匹配来确定水果目标，并对目标跟踪定位来精确定位水果的位置以引导进行准确采摘，减少水果表面损伤。

Fruit automatic picking method and device based on visual identification positioning

The invention discloses a fruit automatic picking method and device based on visual identification and positioning. The method includes the following steps: S1, color image acquisition; S2, extracting three single channel gray images of RGB; S3, selecting a single channel image with obvious color components; S4, image preview; S5, judging whether there is a fruit order in the image. S6, obtain the coordinates of the fruit target in the computer pixel coordinate system; S7, transform the pixel coordinates into the world coordinate system; S8, calculate the plane movement of grasping the mechanical claw; S9, control the grasping mechanical claw movement, make the fruit target located in the center of the camera imaging plane; S10, control grasping mechanical claws perpendicular to imaging Move the plane forward; S11, grab fruit target, cut the fruit stalk; S12, grab the mechanical claw loose, and fruit fall into the collecting box. The invention determines the fruit target by image processing and feature matching, and accurately locate the fruit position to guide the accurate picking and reduce the damage of the fruit surface.

【技术实现步骤摘要】
基于视觉识别定位的水果自动化采摘方法及装置
本专利技术属于水果采摘的
，具体涉及一种基于视觉识别定位的水果自动化采摘方法及装置。
技术介绍
苹果这类季节性水果的收割需在短时间内完成，目前这项工作主要是靠人工完成，人工成本占整个生产成本的很大一部分。为了减少劳动力成本，相关技术中提出了几种机械化采摘水果的方案，但是，大多数机械化的解决方案在采摘时无法准确确定水果的位置，因而采摘时会产生冲击而导致水果表面损伤，使收获的产品降低品质，特别是像苹果等水果，必须避免水果的瘀伤。
技术实现思路
本专利技术的目的在于避免现有技术中的不足而提供一种基于视觉识别定位的水果自动化采摘方法及装置，其通过图像处理与分析来确定水果的位置，以引导进行准确采摘，从而减少因采摘冲击而导致的水果表面损伤。本专利技术的目的通过以下技术方案实现：提供一种基于视觉识别定位的水果自动化采摘方法，应用于采摘装置，所述采摘装置包括折叠式机械臂、设置于折叠式机械臂末端的抓取机械爪、切割刀和摄像机，所述采摘方法包括如下步骤：S1、使用摄像机对待采摘果树进行彩色图像采集；S2、提取步骤S1中获得的彩色图像的RGB三个单通道灰度图像；S3、根据水果的颜色分量特征，选取步骤S2中RGB三个单通道灰度图像中颜色分量明显的单通道图像；S4、对步骤S3中选取的单通道图像进行图像预处理；S5、对步骤S4中预处理后的图像进行图像特征的提取，将提取结果与训练样本库进行特征匹配，判断图像中是否有水果目标，如果没有则调整折叠式机械臂的末端位置，返回步骤S1，如果有则进入步骤S6；S6、获取水果目标在计算机像素坐标系中的坐标和图像中心坐标；S7、将步骤S6中得到的各水果目标在计算机像素坐标系中的坐标变换为世界坐标系中的坐标；S8、根据步骤S7中得到的水果目标在世界坐标系中的坐标，结合摄像机标定的比例因子和像素坐标差值计算设置于折叠式机械臂末端的抓取机械爪的平面移动量Δx和Δy；S9、控制抓取机械爪在与成像平面平行的平面内移动Δx和Δy，使水果目标位于摄像机成像平面中心；S10、控制抓取机械爪垂直于成像平面向前移动，移动时实时测量水果目标与抓取机械爪之间的距离；S11、抓取机械爪合拢抓取水果目标，并控制切割刀切断果梗；S12、抓取机械爪松开，水果落入收集箱；S13、若图像中有两个以上的水果目标，返回步骤S8，直至将图像中的其他水果目标采摘完毕。作为进一步的改进，所述步骤S4具体包括如下子步骤：S41、对图像进行去噪处理；S42、对图像进行增强处理；S43、对图像进行二值化处理。作为进一步的改进，所述步骤S5具体为：判断图像中是否有水果目标基于圆形度计算进行，圆形度根据所提取图像特征区域的面积、周长计算得到，其计算公式为：e＝(4π×S)/L2；其中e为圆形度，S为面积，L为周长；设置e的阈值，当所提取图像特征区域的圆形度小于设定的阈值的时候，认为是背景区域，当所提取图像特征区域的圆形度大于设定的阈值时，则认为是有水果目标区域，从图像中把水果目标分离出来。作为进一步的改进，所述步骤S6具体包括以下子步骤：S61、对摄像机进行标定；S62、对获取图像进行极限校正；S63、获取水果目标的计算机图像坐标。作为进一步的改进，所述步骤S8中，如果Δx<A，Δy<B，其中A，B为系统给定的折叠式机械臂的偏移量位移，则进行下一步骤，否则折叠式机械臂运动，返回至步骤S1。作为进一步的改进，所述步骤S8中，水果目标在图像中的成像大小与摄像头到水果目标的距离成反比，根据此关系计算出水果目标与机械爪之间粗略的距离。作为进一步的改进，所述步骤S10中，使用超声波测距传感器测量水果与抓取机械爪之间的距离Δd，当Δd<C时，控制折叠式机械臂停止运动，其中C是系统给定的抓取机械爪与水果之间的位移。作为进一步的改进，抓取机械爪合拢抓取水果目标时，根据设置于抓取机械爪与水果目标之间的压力传感器所反馈的压力信号大小，控制抓取机械爪停止合拢，并控制切割刀开始工作切断果梗。本专利技术还提供一种基于视觉识别定位的水果自动化采摘装置，所述采摘装置包括折叠式机械臂、设置于折叠式机械臂末端的抓取机械爪、切割刀和摄像机，所述采摘装置采用如上所述的采摘方法进行水果采摘。本专利技术提供的基于视觉识别定位的水果自动化采摘方法，应用于采摘装置，所述采摘装置包括折叠式机械臂、设置于折叠式机械臂末端的抓取机械爪、切割刀和摄像机，所述采摘方法包括如下步骤：S1、使用摄像机对待采摘果树进行彩色图像采集；S2、提取步骤S1中获得的彩色图像的RGB三个单通道灰度图像；S3、根据水果的颜色分量特征，选取步骤S2中RGB三个单通道灰度图像中颜色分量明显的单通道图像；S4、对步骤S3中选取的单通道图像进行图像预处理；S5、对步骤S4中预处理后的图像进行图像特征的提取，将提取结果与训练样本库进行特征匹配，判断图像中是否有水果目标，如果没有则调整折叠式机械臂的末端位置，返回步骤S1，如果有则进入步骤S6；S6、获取水果目标在计算机像素坐标系中的坐标和图像中心坐标；S7、将步骤S6中得到的各水果目标在计算机像素坐标系中的坐标变换为世界坐标系中的坐标；S8、根据步骤S7中得到的水果目标在世界坐标系中的坐标，结合摄像机标定的比例因子和像素坐标差值计算设置于折叠式机械臂末端的抓取机械爪的平面移动量Δx和Δy；S9、控制折叠式机械臂的末端在与成像平面平行的平面内移动Δx和Δy，使水果目标位于摄像机成像平面中心；S10、控制折叠式机械臂的末端垂直于成像平面向前移动，移动时实时测量水果目标与抓取机械爪之间的距离；S11、抓取机械爪合拢抓取水果目标，并控制切割刀切断果梗；S12、抓取机械爪松开，水果落入收集箱。S13、若图像中有两个以上的水果目标，返回步骤S8，直至将图像中的其他水果目标采摘完毕。本专利技术的采摘方法对待采摘果树的彩色图像进行正确的图像处理与分析，根据图像处理与特征匹配来确定水果目标的准确位置，并引导折叠式机械臂完成自动化采摘工作。本专利技术实现了水果的智能识别、定位以及机械臂的自动化控制采摘，提高了采摘的准确性和效率，减少因采摘冲击而导致的水果表面损伤，大大降低了人工劳动成本。附图说明利用附图对本专利技术作进一步说明，但附图中的实施例不构成对本专利技术的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。图1是基于视觉识别定位的水果自动化采摘方法的流程图。图2是基于视觉识别定位的水果自动化采摘装置的结构示意图。具体实施方式为了使本领域的技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施例对本专利技术作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。如图1和图2所示，本专利技术实施例提供的一种基于视觉识别定位的水果自动化采摘方法，应用于采摘装置，主要包括图像采集，图像转换，图像处理，水果目标识别，水果目标定位，计算机械爪移动量，机械爪运动，测距、抓取水果目标，切断果梗，完成采集等过程。所述采摘装置包括折叠式机械臂1、设置于折叠式机械臂1末端的抓取机械爪2、切割刀3和摄像机11，摄像机11位于抓取机械爪2的后部中央，当抓取机械爪2张开时，摄像机1本文档来自技高网...

【技术保护点】
1.一种基于视觉识别定位的水果自动化采摘方法，应用于采摘装置，所述采摘装置包括折叠式机械臂(1)、设置于折叠式机械臂(1)末端的抓取机械爪(2)、切割刀(3)和摄像机(11)，其特征在于，所述采摘方法包括如下步骤：S1、使用摄像机对待采摘果树进行彩色图像采集；S2、提取步骤S1中获得的彩色图像的RGB三个单通道灰度图像；S3、根据水果的颜色分量特征，选取步骤S2中RGB三个单通道灰度图像中颜色分量明显的单通道图像；S4、对步骤S3中选取的单通道图像进行图像预处理；S5、对步骤S4中预处理后的图像进行图像特征的提取，将提取结果与训练样本库进行特征匹配，判断图像中是否有水果目标，如果没有则调整折叠式机械臂(1)的末端位置，返回步骤S1，如果有则进入步骤S6；S6、获取水果目标在计算机像素坐标系中的坐标和图像中心坐标；S7、将步骤S6中得到的各水果目标在计算机像素坐标系中的坐标变换为世界坐标系中的坐标；S8、根据步骤S7中得到的水果目标在世界坐标系中的坐标，结合摄像机标定的比例因子和像素坐标差值计算设置于折叠式机械臂(1)末端的抓取机械爪(2)的平面移动量Δx和Δy；S9、控制抓取机械爪(2)在与成像平面平行的平面内移动Δx和Δy，使水果目标位于摄像机成像平面中心；S10、控制抓取机械爪(2)垂直于成像平面向前移动，移动时实时测量水果目标与抓取机械爪之间的距离；S11、抓取机械爪合拢抓取水果目标，并控制切割刀切断果梗；S12、抓取机械爪松开，水果落入收集箱；S13、若图像中有两个以上的水果目标，返回步骤S8，直至将图像中的其他水果目标采摘完毕。...

【技术特征摘要】
1.一种基于视觉识别定位的水果自动化采摘方法，应用于采摘装置，所述采摘装置包括折叠式机械臂(1)、设置于折叠式机械臂(1)末端的抓取机械爪(2)、切割刀(3)和摄像机(11)，其特征在于，所述采摘方法包括如下步骤：S1、使用摄像机对待采摘果树进行彩色图像采集；S2、提取步骤S1中获得的彩色图像的RGB三个单通道灰度图像；S3、根据水果的颜色分量特征，选取步骤S2中RGB三个单通道灰度图像中颜色分量明显的单通道图像；S4、对步骤S3中选取的单通道图像进行图像预处理；S5、对步骤S4中预处理后的图像进行图像特征的提取，将提取结果与训练样本库进行特征匹配，判断图像中是否有水果目标，如果没有则调整折叠式机械臂(1)的末端位置，返回步骤S1，如果有则进入步骤S6；S6、获取水果目标在计算机像素坐标系中的坐标和图像中心坐标；S7、将步骤S6中得到的各水果目标在计算机像素坐标系中的坐标变换为世界坐标系中的坐标；S8、根据步骤S7中得到的水果目标在世界坐标系中的坐标，结合摄像机标定的比例因子和像素坐标差值计算设置于折叠式机械臂(1)末端的抓取机械爪(2)的平面移动量Δx和Δy；S9、控制抓取机械爪(2)在与成像平面平行的平面内移动Δx和Δy，使水果目标位于摄像机成像平面中心；S10、控制抓取机械爪(2)垂直于成像平面向前移动，移动时实时测量水果目标与抓取机械爪之间的距离；S11、抓取机械爪合拢抓取水果目标，并控制切割刀切断果梗；S12、抓取机械爪松开，水果落入收集箱；S13、若图像中有两个以上的水果目标，返回步骤S8，直至将图像中的其他水果目标采摘完毕。2.根据权利要求1所述的基于视觉识别定位的水果自动化采摘方法，其特征在于：所述步骤S4具体包括如下子步骤：S41、对图像进行去噪处理；S42、对图像进行增强处理；S43、对图像进行二值化处理。3.根据权利要求1所述的基于视觉识别定位的水果自动化采摘方法，其特征在于：所述步骤S5具体为：判断图像中是否有水果目标基于圆形度计...

【专利技术属性】
技术研发人员：王文韫，陈安华，亚库普·艾合麦提，胡小平，
申请(专利权)人：湖南科技大学，
类型：发明
国别省市：湖南,43