基于机器视觉的苹果自动采摘装置及其控制方法制造方法及图纸

本发明专利技术提供基于机器视觉的苹果自动采摘装置及其控制方法，属于苹果自动采摘领域，装置包括机械手、机械臂、机械臂升降装置、电源装置、设备控制中心、数据处理中心、RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏、设备安装平台、平台平衡装置、平台升降装置、装置运载车和苹果存储车。该装置能够适应大多数实际场景下的苹果自动化采摘工作，利用机器视觉技术实现了苹果的自动识别检测，利用PLC自动控制技术，实现了多机械臂协同工作，可同时进行双侧的苹果采摘，加快了采摘的速度。加快了采摘的速度。加快了采摘的速度。

【技术实现步骤摘要】
基于机器视觉的苹果自动采摘装置及其控制方法


[0001]本专利技术涉及苹果自动采摘领域，尤其涉及基于机器视觉的苹果自动采摘装置及其控制方法。

技术介绍

[0002]在苹果的生产过程中，苹果采摘是一个非常重要的环节。如何在苹果最佳的采摘期内完成苹果的采摘，对于获取高品质的苹果及其后续销售具有非常重要的作用。现有的苹果采摘多是通过人工采摘的方式进行，在大面的苹果集中成熟时，为了能够在最佳的采摘期间内完成苹果的采摘工作，短时期内的人力需求激增，易产生采收工作人员紧缺的问题，进而影响苹果采摘工作。因此，需要设计一种基于机器视觉的苹果自动采摘装置及其控制方法。

技术实现思路

[0003]本专利技术的目的在于提供基于机器视觉的苹果自动采摘装置及其控制方法，解决
技术介绍
中提到的技术问题。为了能够加快苹果在最佳采收期间内的采收工作，获取高品质的苹果，同时减缓采收工作对人力的需求，避免因人力紧缺而造成苹果采摘延误的情况，利用苹果自动采摘装置开展苹果采摘工作。
[0004]为了实现上述目的，本专利技术采用的技术方案如下：
[0005]基于机器视觉的苹果自动采摘装置，包括机械手、机械臂、机械臂升降装置、电源装置、设备控制中心、数据处理中心、RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏、设备安装平台、平台平衡装置、平台升降装置、装置运载车和苹果存储车，苹果存储车设置在装置运载车的后端，平台平衡装置和平台升降装置均设置在装置运载车上，设备安装平台设置在平台平衡装置和平台升降装置的顶端，数据处理中心、设备控制中心、电源装置和机械臂升降装置均设置在设备安装平台上，机械手经机械臂与机械臂升降装置连接，RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ和显示屏均设置在设备安装平台上，，RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏和设备控制中心均与数据处理中心连接，机械手、机械臂、机械臂升降装置、平台升降装置、平台平衡装置和装置运载车均与设备控制中心连接。
[0006]进一步地，装置运载车与苹果存储车通过连接装置连接，苹果存储车内设置有红外感应器，用于感应存储车内苹果的存储量，机械手、机械臂和机械臂升降装置的数量均为两个。
[0007]基于机器视觉的苹果自动采摘装置的控制方法，所述方法包括如下步骤：
[0008]步骤1：采摘装置启动，采摘装置状态自检，自检结果由显示屏显示，自检结束后，识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边；
[0009]步骤2：开启平衡调整模式对采摘装置进行平衡调整，调整完后对苹果树的苹果进行识别，然后在识别的区域内进行采摘苹果顺序规划，采摘顺序规划完成后，依次对目标苹
果进行采摘，并存放于苹果存储车中，，直到识别区域内的苹果采摘完后进入另外区域对苹果重新识别和采摘。
[0010]进一步地，步骤1中识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边的具体过程为：
[0011]步骤1.1：RGB相机获取苹果自动采摘装置周边的RGB图像；
[0012]步骤1.2：数据处理中心分析处理RGB图像信息，识别并确定的苹果树位置，根据苹果树位置规划去到苹果树侧边的路径，苹果自动采摘装置根据规划的路径进行行走，并实时识别检测行进路径上的障碍物位置信息；
[0013]步骤1.3：根据RGB图像分析结果，将路径规划分为两种情形：情形1，路径前方无障碍物或对障碍物可避开通行；情形2，前方有障碍物且对障碍物无法避开通行；
[0014]步骤1.4：当为情形1处理方式时，具体处理步骤包括如下：
[0015]步骤1.4.1：由数据处理中心生成设备控制中心的控制指令；
[0016]步骤1.4.2：设备控制中心在控制指令的控制下，对装置运载车的运行状态进行控制，包括装置运载车内置电机的运行时间和运行转速，实现苹果自动采摘装置的定量前进和左右转向动作；
[0017]步骤1.4.3：苹果自动采摘装置的前进距离主要按照定量前进的形式，每前进一次都要通过深度相机获取当前位置左右两侧苹果树上的苹果挂果情况，若两侧苹果树上均无苹果，则苹果自动采摘装置继续前进，若一侧或两侧的苹果树上有苹果，则苹果自动采摘装置驻停，并生成采摘准备指令，直至两侧苹果树上均无苹果后继续前进；
[0018]步骤1.5：当为情形2处理方式时，具体处理步骤包括如下：
[0019]步骤1.5.1：苹果自动采摘装置停止前进；
[0020]步骤1.5.2：显示屏上提示当前遇到的问题，并进行黄色警报，通过无线发送报警给管理人员，等待管理人员解决问题；
[0021]步骤1.5.3：问题解决后，在显示屏上点击继续作业，返回步骤1.1。
[0022]进一步地，步骤1.2中识别苹果树位置的具体步骤包括识别苹果树模型和识别苹果树上的苹果，对RGB图像进行预处理，然后对预处理的图像进行图像边缘轮廓识别，得到树的轮廓、树的轮廓内部果实轮廓和树的轮廓内部树叶轮廓，提前获取若干个苹果和若干片苹果树的树叶进行图像识别，然后识别得到苹果轮廓和苹果树的树叶轮廓，苹果轮廓和苹果树的树叶轮廓分别放到二维坐标轴上，选定苹果轮廓和苹果树的树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把苹果轮廓和苹果树的树叶轮廓分别设定为k个点，k 为大于64的整数倍数值，则得到苹果轮廓上设置的点的极坐标为和苹果树的树叶轮廓上设置的点的极坐标为n为正整数，且大于等于k，将所有极坐标中的r
n
和R
n
提取出来得到苹果轮廓极坐标函数 l(k)＝(r1,r2,r3…
r
n
)和苹果树的树叶轮廓极坐标函数L(k)＝(R1,R2,R3…
R
n
)，则得到所有苹果轮廓和苹果树的树叶轮廓线条图源的极坐标函数l
t
(k)＝(r1,r2,r3…
r
n
)和 L
t
(k)＝(R1,R2,R3…
R
n
)，t为编码轮廓线条图的个数，为正整数；
[0023]将树的轮廓放入改进型卷积神经网络内进行深度学习，判断树的轮廓是否为苹果
树，提取封闭部分的果实轮廓和树叶轮廓，然后将果实轮廓和树叶轮廓放到二维坐标轴上，选定果实轮廓和树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把实轮廓和树叶轮廓分别设定为k个点，k为大于64的整数倍数值，则得到果实轮廓和树叶轮廓上设置的点的极坐标为和n为正整数，且大于等于k，将所有极坐标中的r
’
n
和R
’
n
提取出来得到极坐标函数l
’
t
(k)＝(r
’1,r
’2,r
’3…
r
’
n
)和L'
t
(k)＝(R
’1,R'2,R
’3…
R'
n
)，然后将 l
’
t<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于机器视觉的苹果自动采摘装置，其特征在于：包括机械手、机械臂、机械臂升降装置、电源装置、设备控制中心、数据处理中心、RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏、设备安装平台、平台平衡装置、平台升降装置、装置运载车和苹果存储车，苹果存储车设置在装置运载车的后端，平台平衡装置和平台升降装置均设置在装置运载车上，设备安装平台设置在平台平衡装置和平台升降装置的顶端，数据处理中心、设备控制中心、电源装置和机械臂升降装置均设置在设备安装平台上，机械手经机械臂与机械臂升降装置连接，RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ和显示屏均设置在设备安装平台上，RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏和设备控制中心均与数据处理中心连接，机械手、机械臂、机械臂升降装置、平台平衡装置、平台升降装置和装置运载车均与设备控制中心连接。2.根据权利要求1所述的基于机器视觉的苹果自动采摘装置，其特征在于：装置运载车与苹果存储车通过连接装置连接，苹果存储车内设置有红外感应器，用于感应存储车内苹果的存储量，机械手、机械臂和机械臂升降装置的数量均为两个。3.根据权利要求1
‑
2任意一项所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于，所述方法包括如下步骤：步骤1：采摘装置启动，采摘装置状态自检，自检结果由显示屏显示，自检结束后，识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边；步骤2：开启平衡调整模式对采摘装置进行平衡调整，调整完后对苹果树的苹果进行识别，然后在识别的区域内进行采摘苹果顺序规划，采摘顺序规划完成后，依次对目标苹果进行采摘，并存放于苹果存储车中，直到识别区域内的苹果采摘完后，进入另外区域对苹果重新识别和采摘。4.根据权利要求3所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于：步骤1中识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边的具体过程为：步骤1.1：RGB相机获取苹果自动采摘装置周边的RGB图像；步骤1.2：数据处理中心分析处理RGB图像信息，分析识别RGB图像信息确定的苹果树位置，根据苹果树位置规划去到苹果树侧边的路径，苹果自动采摘装置根据规划的路径进行行走，并实时识别检测行进路径上的障碍物位置信息；步骤1.3：根据RGB图像分析结果，将路径规划分为两种情形：情形1，路径前方无障碍物或对障碍物可避开通行；情形2，前方有障碍物且对障碍物无法避开通行；步骤1.4：当为情形1处理方式时，具体处理步骤包括如下：步骤1.4.1：由数据处理中心生成设备控制中心的控制指令；步骤1.4.2：设备控制中心在控制指令的控制下，对装置运载车的运行状态进行控制，包括装置运载车内置电机的运行时间和运行转速，实现苹果自动采摘装置的定量前进和左右转向动作；步骤1.4.3：苹果自动采摘装置的前进距离主要按照定量前进的形式，每前进一次都要通过深度相机获取当前位置左右两侧苹果树上的苹果挂果情况，若两侧苹果树上均无苹果，则苹果自动采摘装置继续前进，若一侧或两侧的苹果树上有苹果，则苹果自动采摘装置驻停，并生成采摘准备指令，直至两侧苹果树上均无苹果后继续前进；
步骤1.5：当为情形2处理方式时，具体处理步骤包括如下：步骤1.5.1：苹果自动采摘装置停止前进；步骤1.5.2：显示屏上提示当前遇到的问题，并进行黄色警报，通过无线发送报警给管理人员，等待管理人员解决问题；步骤1.5.3：问题解决后，在显示屏上点击继续作业，返回步骤1.1。5.根据权利要求4所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于：步骤1.2中识别苹果树位置的具体步骤包括识别苹果树模型和识别苹果树上的苹果，对RGB图像进行预处理，然后对预处理的图像进行图像边缘轮廓识别，得到树的轮廓、树的轮廓内部果实轮廓和树的轮廓内部树叶轮廓，提前获取若干个苹果和若干片苹果树的树叶进行图像识别，然后识别得到苹果轮廓和苹果树的树叶轮廓，苹果轮廓和苹果树的树叶轮廓分别放到二维坐标轴上，选定苹果轮廓和苹果树的树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把苹果轮廓和苹果树的树叶轮廓分别设定为k个点，k为大于64的整数倍数值，则得到苹果轮廓上设置的点的极坐标为和苹果树的树叶轮廓上设置的点的极坐标为n为正整数，且大于等于k，将所有极坐标中的r
n
和R
n
提取出来得到苹果轮廓极坐标函数l(k)＝(r1,r2,r3…
r
n
)和苹果树的树叶轮廓极坐标函数L(k)＝(R1,R2,R3…
R
n
)，则得到所有苹果轮廓和苹果树的树叶轮廓线条图源的极坐标函数l
t
(k)＝(r1,r2,r3…
r
n
)和L
t
(k)＝(R1,R2,R3…
R
n
)，t为编码轮廓线条图的个数，为正整数；将树的轮廓放入改进型卷积神经网络内进行深度学习，判断树的轮廓是否为苹果树，提取封闭部分的果实轮廓和树叶轮廓，然后将果实轮廓和树叶轮廓放到二维坐标轴上，选定果实轮廓和树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把实轮廓和树叶轮廓分别设定为k个点，k为大于64的整数倍数值，则得到果实轮廓和树叶轮廓上设置的点的极坐标为和n为正整数，且大于等于k，将所有极坐标中的r
’
n
和R
’
n
提取出来得到极坐标函数l
′
t
(k)＝(r
′1,r
′2,r
′3…
r
′
n
)和L'
t
(k)＝(R
′1,R'2,R
′3…
R'
n
)，然后将l
′
t
(k)＝(r
′1,r
′2,r
′3…
r
′
n
)与所有苹果轮廓线条图源的极坐标函数l
t
(k)＝(r1,r2,r3…
r
n
)傅里叶变换得到离散函数l”(k)，然后将离散函数l”(k)进行反傅里叶变换得到轮廓的相识度函数，找出函数的最大值，当最大值大于等于设定值时，则认定为识别对比正确，然后确定识别果实轮廓为苹果轮廓，同理将L'
t
(k)＝(R
′1,R'2,R
′3…
R'
n
)与所有苹果树的树叶轮廓线条图源的极坐标函数L
t
(k)＝(R1,R2,R3…
R
n
)傅里叶变换得到离散函数L”(k)然后将离散函数L”(k)进行反傅里叶变换得到树叶轮廓的相识度函数，找出函数的最大值，当最大值大于等于设定值时，则认定为识别对比正确，然后确定...

【专利技术属性】
技术研发人员：朱红艳，梁诗凯，刘庚其，覃松，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：