一种基于手眼协调的枸杞采摘方法技术

本发明专利技术公开了一种基于手眼协调的枸杞采摘方法，包括：采集枸杞图像，并对枸杞图像进行枸杞空间定位处理，得到枸杞空间坐标，从而得到枸杞枝条的空间坐标；抓取臂根据枸杞枝条的空间坐标向枸杞枝条进行运动，抓取收对目标枸杞枝条进行抓取和拉起，采摘臂和采摘装置运动到目标枸杞枝条的预设范围内；采集目标枸杞枝条上目标枸杞图像，得到目标枸杞的空间坐标，并根据目标枸杞的空间坐标规划采摘运动轨迹，采摘臂运动到采摘运动轨迹的初始端，采摘臂根据采摘运动轨迹进行运动，采摘装置对目标枸杞枝条上的枸杞进行采摘。

A method for picking Lycium barbarum based on hand eye coordination

The invention discloses a wolfberry picking method based on hand-eye coordination, which comprises: collecting wolfberry image, processing wolfberry image spatial positioning, obtaining wolfberry spatial coordinates, thereby obtaining wolfberry spatial coordinates; grasping arm moving toward wolfberry branches according to the spatial coordinates of wolfberry branches, and grasping and collecting wolfberry branches. The target Lycium barbarum branch is grabbed and pulled up, the picking arm and the picking device move to the preset range of the target Lycium barum branch; the target Lycium barbarum image is collected on the target Lycium barbarum branch, and the spatial coordinates of the target Lycium barum are obtained. The picking trajectory is planned according to the spatial coordinates of the target Lycium barum, and the picking arm moves to the picking trajectory. At the beginning of the trace, the picking arm moves according to the picking trajectory, and the picking device picks the wolfberry on the branch of the target wolfberry.

【技术实现步骤摘要】
一种基于手眼协调的枸杞采摘方法
本专利技术涉及视觉处理技术和双臂控制技术
，尤其涉及一种基于手眼协调的枸杞采摘方法。
技术介绍
枸杞子药食同源的历史悠久，是驰名中外的名贵中药材，早在《神农本草经》中就被列为上品。目前我国枸杞种植面积在100万亩以上。除了宁夏、河北、甘肃种植面积没有明显的变化外，新疆、青海、内蒙古等地种植面积不断增加。枸杞采摘一般在夏季，天气炎热，工作环境差，工人效率低下。随着里劳动力的减少，人工采摘的传统方法的局限性显现，人工采摘效率低，成本高，采摘高峰期人工供不足等问题日渐严重。现有的振动是采摘方案，采摘过程粗犷，对枸杞树有损伤，影响枸杞树产量，降低后续生长的枸杞果实品质。随着物流，和人们对更高品质生活的要求，未来枸杞鲜果会进入大众视野，传统的振动式也无法满足新的生产要求。枸杞采摘过程中存在不可控因素，现在还没有明确的解决方案。
技术实现思路
基于
技术介绍
存在的技术问题，本专利技术提出了一种基于手眼协调的枸杞采摘方法；本专利技术提出的一种基于手眼协调的枸杞采摘方法，包括：S1、采集枸杞图像，并对枸杞图像进行枸杞空间定位处理，得到枸杞空间坐标；S2、对枸杞空间坐标进行空间排列，根据枸杞间相对距离关系确定在同一条枸杞枝条上的枸杞，得到枸杞枝条的空间位置，在已获取空间位置的枸杞枝条上选取预抓取点，抓取臂根据预抓取点坐标，运动到预抓取点的正上方；S3、采集枸杞枝条图像，并对枸杞枝条图像进行枸杞枝条定位处理，得到目标枸杞枝条坐标，抓取臂根据目标枸杞枝条坐标向目标枸杞枝条运动，直到抓取臂和目标枸杞枝条的距离达到预设距离时，抓取臂停止运动，抓取手对目标枸杞枝条进行抓取；S4、抓取臂和抓取手协调位置对目标枸杞枝条进行拉起，直到目标枸杞枝条被拉起的高度达到预设的采摘高度时，抓取臂和抓取手停止对目标枸杞枝条进行拉起，采摘臂和采摘装置运动到目标枸杞枝条的预设范围内；S5、采集目标枸杞枝条上目标枸杞图像，对目标枸杞图像进行枸杞空间定位处理，得到目标枸杞的空间坐标，并根据目标枸杞的空间坐标规划采摘运动轨迹，采摘臂运动到采摘运动轨迹的初始端；S6、获取采摘装置和目标枸杞枝条之间的垂直距离，并判断采摘装置和目标枸杞枝条之间垂直距离是否小于预设距离阈值，当判断结果为是时，采摘臂根据采摘运动轨迹进行运动，采摘装置对目标枸杞枝条上的枸杞进行采摘。优选地，步骤S1，具体包括：通过双目视觉摄像头采集枸杞图像；对枸杞图像中枸杞进行分离，并提取枸杞的几何形状；将枸杞几何形状的几何中心的空间坐标替代枸杞的实际空间坐标，得到枸杞空间坐标。优选地，步骤S3中，所述对枸杞枝条图像进行枸杞枝条定位处理得到目标枸杞枝条坐标，具体包括：通过抓取单目摄像头采集枸杞枝条图像；对枸杞枝条图像进行去噪处理；提取枸杞枝条图像中枸杞枝条部分，得到目标枸杞枝条坐标。优选地，步骤S3中，所述抓取臂根据目标枸杞枝条坐标向目标枸杞枝条运动，直到抓取臂和目标枸杞枝条的距离达到预设距离，具体包括：抓取臂根据目标枸杞枝条坐标向目标枸杞枝条运动；通过抓取单目摄像头实时获取目标枸杞枝条和抓取臂的距离；将目标枸杞枝条和抓取臂的距离与预设距离进行比较，从而判断目标枸杞枝条和抓取臂的实时距离是否达到预设距离。优选地，步骤S4，具体包括：抓取臂和抓取手协调位置对目标枸杞枝条进行拉起；通过双目摄像机实时获取目标枸杞枝条被拉起的高度；将目标枸杞枝条被拉起的高度与预设的采摘高度进行比较，当目标枸杞枝条被拉起的高度达到预设的采摘高度时，抓取臂和抓取手停止对目标枸杞枝条进行拉起，采摘臂和采摘装置运动到目标枸杞枝条的预设范围内。优选地，步骤S4，还包括：当无法通过双目摄像机实时获取目标枸杞枝条被拉起的高度时，判断对目标枸杞枝条拉起失败，抓取机械臂回到初始位置后，执行步骤S3。优选地，步骤S5，所述采集目标枸杞枝条上目标枸杞图像，对目标枸杞图像进行枸杞空间定位处理，得到目标枸杞的空间坐标，具体包括：通过双目摄像头采集目标枸杞枝条上目标枸杞图像；对目标枸杞图像中目标枸杞进行分离，并提取目标枸杞的几何形状；将目标枸杞几何形状的几何中心的空间坐标替代目标枸杞的实际空间坐标，得到目标枸杞的空间坐标。优选地，步骤S6，具体包括：通过采摘单目摄像头实时获取采摘装置和目标枸杞枝条之间的垂直距离距离；将采摘装置和目标枸杞枝条之间的垂直距离距离与预设距离阈值进行比较，当采摘装置和目标枸杞枝条之间的垂直距离距离小于预设距离阈值时，采摘臂根据采摘运动轨迹进行运动，采摘装置对目标枸杞枝条上的枸杞进行采摘。优选地，还包括步骤S7，通过采摘单目摄像头实时获取目标枸杞枝条上的剩余枸杞图像，根据目标枸杞枝条上的剩余枸杞图像判断目标枸杞枝条上是否有剩余的枸杞，当判断结果为否时，采摘臂和采摘装置运动到初始位置，结束对目标枸杞枝条上枸杞的采摘；否则，执行步骤S6。本专利技术采用双机械臂、双目摄像头、单目摄像头配合工作，模仿人臂、手双目的功能，实现枸杞采摘。双目摄像头模仿枸杞采摘工人在采摘过程中的手眼协调过程，最大限度的保证机器采摘枸杞工作的顺利完成。在抓取过程中，利用抓取手上的单目摄像头对抓取过程进行实时跟踪和调控。在采摘过程中，利用采摘装置上的单目摄像头对采摘过程进行实时跟踪和调控。防止采摘装置和枸杞目标枝条间的距离过大无法采摘到果实、距离太小损伤枸杞枝条的情况出现，从而保护枸杞树，同时也避免机械臂的损伤，保证采摘过程安全完成。同时只需要更换采摘装置即可完成对多种作物和水果的采摘，本法方案变通性好，可以满足后续的生产要求，而不需要重新设计，减少成本，也减少了产品设计时间。附图说明图1为本专利技术提出的一种基于手眼协调的枸杞采摘方法的流程示意图。具体实施方式参照图1，本专利技术提出的一种基于手眼协调的枸杞采摘方法，包括：步骤S1，采集枸杞图像，并对枸杞图像进行枸杞空间定位处理，得到枸杞空间坐标，具体包括：通过双目视觉摄像头采集枸杞图像；对枸杞图像中枸杞进行分离，并提取枸杞的几何形状；将枸杞几何形状的几何中心的空间坐标替代枸杞的实际空间坐标，得到枸杞空间坐标。步骤S2，对枸杞空间坐标进行空间排列，根据枸杞间相对距离关系确定在同一条枸杞枝条上的枸杞，得到枸杞枝条的空间位置，在已获取空间位置的枸杞枝条上选取预抓取点，抓取臂根据预抓取点坐标，运动到预抓取点的正上方。在具体方案中，通过双目视觉摄像头，采集枸杞图像并对枸杞图像进行定位处理，得到枸杞空间坐标，对枸杞空间坐标进行空间排列，根据枸杞间相对距离关系确定在同一条枸杞枝条上的枸杞，得到枸杞枝条的空间位置，如此，通过双目视觉摄像头模仿人的双眼，对枸杞枝条进行定位，在得到枸杞枝条的位置坐标后，选择枸杞枝条上一个抓取点，抓取臂即可根据抓取点的坐标运动到抓取点的正上方。步骤S3，采集枸杞枝条图像，并对枸杞枝条图像进行枸杞枝条定位处理，得到目标枸杞枝条坐标，抓取臂根据目标枸杞枝条坐标向目标枸杞枝条运动，直到抓取臂和目标枸杞枝条的距离达到预设距离时，抓取臂停止运动，抓取手对目标枸杞枝条进行抓取，具体包括：通过抓取单目摄像头采集枸杞枝条图像；对枸杞枝条图像进行去噪处理；提取枸杞枝条图像中枸杞枝条部分，得到目标枸杞枝条坐标；抓取臂根据目标枸杞枝条坐标向目标枸杞枝条运动；通过抓取单目摄像头实时获取目标枸杞枝条本文档来自技高网...

【技术保护点】
1.一种基于手眼协调的枸杞采摘方法，其特征在于，包括：S1、采集枸杞图像，并对枸杞图像进行枸杞空间定位处理，得到枸杞空间坐标；S2、对枸杞空间坐标进行空间排列，根据枸杞间相对距离关系确定在同一条枸杞枝条上的枸杞，得到枸杞枝条的空间位置，在已获取空间位置的枸杞枝条上选取预抓取点，抓取臂根据预抓取点坐标，运动到预抓取点的正上方；S3、采集枸杞枝条图像，并对枸杞枝条图像进行枸杞枝条定位处理，得到目标枸杞枝条坐标，抓取臂根据目标枸杞枝条坐标向目标枸杞枝条运动，直到抓取臂和目标枸杞枝条的距离达到预设距离时，抓取臂停止运动，抓取手对目标枸杞枝条进行抓取；S4、抓取臂和抓取手协调位置对目标枸杞枝条进行拉起，直到目标枸杞枝条被拉起的高度达到预设的采摘高度时，抓取臂和抓取手停止对目标枸杞枝条进行拉起，采摘臂和采摘装置运动到目标枸杞枝条的预设范围内；S5、采集目标枸杞枝条上目标枸杞图像，对目标枸杞图像进行枸杞空间定位处理，得到目标枸杞的空间坐标，并根据目标枸杞的空间坐标规划采摘运动轨迹，采摘臂运动到采摘运动轨迹的初始端；S6、获取采摘装置和目标枸杞枝条之间的垂直距离，并判断采摘装置和目标枸杞枝条之间垂直距离是否小于预设距离阈值，当判断结果为是时，采摘臂根据采摘运动轨迹进行运动，采摘装置对目标枸杞枝条上的枸杞进行采摘。...

【技术特征摘要】
1.一种基于手眼协调的枸杞采摘方法，其特征在于，包括：S1、采集枸杞图像，并对枸杞图像进行枸杞空间定位处理，得到枸杞空间坐标；S2、对枸杞空间坐标进行空间排列，根据枸杞间相对距离关系确定在同一条枸杞枝条上的枸杞，得到枸杞枝条的空间位置，在已获取空间位置的枸杞枝条上选取预抓取点，抓取臂根据预抓取点坐标，运动到预抓取点的正上方；S3、采集枸杞枝条图像，并对枸杞枝条图像进行枸杞枝条定位处理，得到目标枸杞枝条坐标，抓取臂根据目标枸杞枝条坐标向目标枸杞枝条运动，直到抓取臂和目标枸杞枝条的距离达到预设距离时，抓取臂停止运动，抓取手对目标枸杞枝条进行抓取；S4、抓取臂和抓取手协调位置对目标枸杞枝条进行拉起，直到目标枸杞枝条被拉起的高度达到预设的采摘高度时，抓取臂和抓取手停止对目标枸杞枝条进行拉起，采摘臂和采摘装置运动到目标枸杞枝条的预设范围内；S5、采集目标枸杞枝条上目标枸杞图像，对目标枸杞图像进行枸杞空间定位处理，得到目标枸杞的空间坐标，并根据目标枸杞的空间坐标规划采摘运动轨迹，采摘臂运动到采摘运动轨迹的初始端；S6、获取采摘装置和目标枸杞枝条之间的垂直距离，并判断采摘装置和目标枸杞枝条之间垂直距离是否小于预设距离阈值，当判断结果为是时，采摘臂根据采摘运动轨迹进行运动，采摘装置对目标枸杞枝条上的枸杞进行采摘。2.根据权利要求1所述的基于手眼协调的枸杞采摘方法，其特征在于，步骤S1，具体包括：通过双目视觉摄像头采集枸杞图像；对枸杞图像中枸杞进行分离，并提取枸杞的几何形状；将枸杞几何形状的几何中心的空间坐标替代枸杞的实际空间坐标，得到枸杞空间坐标。3.根据权利要求1所述的基于手眼协调的枸杞采摘方法，其特征在于，步骤S3中，所述对枸杞枝条图像进行枸杞枝条定位处理得到目标枸杞枝条坐标，具体包括：通过抓取单目摄像头采集枸杞枝条图像；对枸杞枝条图像进行去噪处理；提取枸杞枝条图像中枸杞枝条部分，得到目标枸杞枝条坐标。4.根据权利要求1所述的基于手眼协调的枸杞采摘方法，其特征在于，步骤S3中，所述抓取臂根据目标枸杞枝条坐标向目标枸杞枝条运动，直到抓取臂和目标枸杞枝条的距离达到预设距离，具体包括：抓取臂...

【专利技术属性】
技术研发人员：徐海明，严亚飞，吕品，蒋锐，丁雷鸣，赵丹阳，孙丙宇，王儒敬，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：安徽,34