一种基于机器视觉的智能水果采摘机器人制造技术

本发明专利技术公开一种基于机器视觉的智能水果采摘机器人，包括控制系统及与其分别连接的行走机构、采摘机械手、视觉系统、电源系统，控制系统、电源系统与行走机构固定连接，采摘机械手为四自由度关节型机械手且通过底座与行走机构固定连接，视觉系统的视觉传感器固定设置于采摘机械手的腕部上方，视觉系统的视觉控制模块与控制系统集成并与视觉传感器信号连接，视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器的图像进行目标定位识别，视觉控制模块将目标定位信息传给控制系统，控制系统控制行走机构移动和/或机械手摘取水果。本发明专利技术具有结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的特点。

【技术实现步骤摘要】
一种基于机器视觉的智能水果采摘机器人
本专利技术属于农业机械
，具体涉及一种结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的基于机器视觉的智能水果采摘机器人。
技术介绍
我国的水果产量自1993以来一直以来都稳居于是世界第一位的位置，而且水果种植面积正在逐年增高。但绝大部分水果仍然以人工的方式进行采摘，这种采摘方式不仅效率低、采摘质量不高，非常不符合农业现代化的发展趋。近年来，虽然采摘机械受到很多人的关注，但是采摘机械的发展一直很缓慢，由于各种水果的特征差异较大，水果容易受到碰撞等特点，机械采摘的难度较大。我国的水果采摘方式依旧很落后，大多数依然依靠人工采摘，近年来半自动化的采摘方式虽然得以较多的应用，但主要是借助一些升降平台和拖车，为人们提供一个采摘平台，再由人工进行采摘。这种半自动化采摘平台借助动力底盘，在底盘上安装多个供人员采摘的平台，由液压装置为这些平台提供动力来源。这种采摘方式虽然对水果的伤害较小，但是依然需要人工进行采摘，自动化程度较低。纯机械化采摘方式的出现解决了效率低下的问题，但也存在比较大的缺陷—对水果损伤太严重，采摘的水果大部分只能用于加工水果罐头等制品。此外，在国外为了避免对果实损伤的问题，果实采摘中应用最多的就是惯性式振摇机、气力振摇机等依靠机械外力对果实施加外力，通过摇动树干依靠惯性让果实脱落实现果实的采摘目的。这种方式得到的水果质量、成熟度参差不齐，不能保证其质量。由于以上这些突出的缺点，导致了这种振摇方式的采摘机械得不到广泛的应用。另外，我国果树一般种植于山地和丘陵地带等复杂地理环境，普通轮式采摘机械难以灵活适应，而能够适应的多腿机器人却由于成本高、结构复杂难以推广。由于果树品种、种植环境等因素的影响，各地对果实采摘的要求不同，很难兼顾这些所有因素，采摘机械通用性较差，也难以适应复杂的采摘环境，环境适应性差。而且大多数采摘机械功能太过单一，为了完成整个生产采摘过程，必定需要采购多种类型的农业机械，大大降低了农业生产者的经济效。此外还存在可靠性也较低，容易损坏，不方便维修。还普遍存在自动化的程度较低、效率低的问题，没有达到预期的生产要求。对于部分采用机械手的采摘系统来说，由于普遍使用传统伺服电机驱动机械手，而因为这种伺服电机转矩小且尺寸偏大。为了满足机械手的运动要求，关节处的普通伺服电机需要增加减速器，从而导致这类机械手体积过于庞大、重心不稳，不适用于山地、丘陵等起伏地面的采摘场合。还会导致采摘机械手整体不协调，结构太复杂也会阻碍水果的正常采摘。随着计算机技术和图像处理技术的发展及成熟，智能化自动水果采摘系统中，机器视觉用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，能依据视觉敏感和反馈的某种程度的智能完成一定的任务。尤其是近年来，机器视觉技术的快速发展，为农业机器人的自主导航和农作物的识别提供了一种新的解决方案。但是，现有技术中的机器视觉技术要么需要多个摄像头进行多方位拍摄，不仅导致运算量较大，难以保证与机械动作的同步性，为了兼顾适时定位的需求，只有降低机械动作的速度，造成采摘效率低、整体结构复杂。也有部分采用单镜头的视觉系统，但由于视觉计算方法的原因，还是存在运算量较大和定位精度难以保证的问题。由于农作物采摘作业是农作物生产链中最耗时、最费力的一个环节。同时，采摘作业质量的好坏还直接影响到产品的后续加工和储存。因此，如何以低成本获得高品质的产品是农作物生产环节中必须重视和考虑的问题。
技术实现思路
本专利技术的目的在于提供一种结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的基于机器视觉的智能水果采摘机器人。本专利技术目的是这样实现的，包括行走机构、采摘机械手、视觉系统、控制系统、电源系统，所述控制系统分别与行走机构、采摘机械手、视觉系统、电源系统连接，所述控制系统、电源系统与行走机构固定连接，所述采摘机械手为四自由度关节型机械手且通过底座与行走机构固定连接，所述视觉系统的视觉传感器固定设置于采摘机械手的腕部上方，所述视觉系统的视觉控制模块与控制系统集成一体并与视觉传感器信号连接，所述视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器传送来的图像进行采摘目标定位识别，所述视觉控制模块将采摘目标定位信息传给控制系统，所述控制系统控制行走机构移动和/或机械手摘取水果并放入水果收集装置。本专利技术与现有技术相比具有以下有益效果：1、本专利技术的视觉系统应用一种基于图像分割的全卷积网络图像处理技术，对果树上的水果进行快速识别与定位，有效提高了水果的采摘精度和显著降低了运算量，为水果准确、快速的采摘提供了保障，解决了现有采摘机械自动化程度和采摘效率低的问题。2、本专利技术通过采用履带式行走机构，大大提高了采摘机器人的地形通过性，能够广泛适应山区、丘陵地带等复杂的地理环境。3、本专利技术为了适应果园复杂的地理环境和果枝对果实的遮挡问题，采用了将电机嵌入关节内的新型关节型采摘机械手，整体结构紧凑整洁，解决了现有机械手过于庞大、重心不稳和易遮挡采摘过程的问题。4、本专利技术通过控制系统根据视觉系统的水果定位信息，自动控制行走机构调整位置及采摘机械手的采摘，智能化程度高。因此，本专利技术具有结构紧凑、稳定性好、智能化程度高、定位迅速且精度高、环境适应能力强的特点。附图说明图1为本专利技术结构示意图；图2为本专利技术行走机构结构示意图；图3为本专利技术采摘机械手结构示意图；图4为本专利技术四指机械爪结构示意图；图5为本专利技术各部分配合工作流程图；图中：1-行走机构，11-底盘，12-驱动轮，13-履带，14-承重轮，15-行走驱动机构，16-箱体，17-机械手支架，18-导向轮，19-托链轮，2-采摘机械手，21-旋转舵机，22-底座，23-腰部，24-大臂舵机，25-大臂，26-小臂舵机，27-小臂，28-腕部舵机，29-腕部，2A-末端执行器，A1-支座，A2-伺服电机，A3-丝杆，A4-十字连接块，A5-连杆，A6-支杆，A7-夹持端，31-视觉传感器，4-控制系统，5-电源系统，6-水果储框。具体实施方式下面结合附图与实施例对本专利技术作进一步的说明，但不以任何方式对本专利技术加以限制，依据本专利技术的教导所作的任何变更或替换，均属于本专利技术的保护范围。如图1至5所示，本专利技术包括行走机构1、采摘机械手2、视觉系统3、控制系统4、电源系统5，所述控制系统4分别与行走机构1、采摘机械手2、视觉系统3、电源系统5连接，所述控制系统4、电源系统5与行走机构1固定连接，所述采摘机械手2为四自由度关节型机械手且通过底座22与行走机构1固定连接，所述视觉系统3的视觉传感器31固定设置于采摘机械手2的腕部29上方，所述视觉系统3的视觉控制模块与控制系统4集成一体并与视觉传感器31信号连接，所述视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器31传送来的图像进行采摘目标定位识别，所述视觉控制模块将采摘目标定位信息传给控制系统4，所述控制系统4控制行走机构1移动和/或机械手2摘取水果并放入水果收集装置。所述水果包括苹果、桃子、梨、核桃、桔子、橙子、柠檬、芒果、奇异果、牛油果等中型水果。所述视觉控制模块根据事先输入的预采摘水果的图片建立模型数据集，运行Fcn本文档来自技高网...

【技术保护点】
一种基于机器视觉的智能水果采摘机器人，包括行走机构（1）、采摘机械手（2）、视觉系统（3）、控制系统（4）、电源系统（5），所述控制系统（4）分别与行走机构（1）、采摘机械手（2）、视觉系统（3）、电源系统（5）连接，所述控制系统（4）、电源系统（5）与行走机构（1）固定连接，其特征在于所述采摘机械手（2）为四自由度关节型机械手且通过底座（22）与行走机构（1）固定连接，所述视觉系统（3）的视觉传感器（31）固定设置于采摘机械手（2）的腕部（29）上方，所述视觉系统（3）的视觉控制模块与控制系统（4）集成一体并与视觉传感器（31）信号连接，所述视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器（31）传送来的图像进行采摘目标定位识别，所述视觉控制模块将采摘目标定位信息传给控制系统（4），所述控制系统（4）控制行走机构（1）移动和/或机械手（2）摘取水果并放入水果收集装置。

【技术特征摘要】
1.一种基于机器视觉的智能水果采摘机器人，包括行走机构（1）、采摘机械手（2）、视觉系统（3）、控制系统（4）、电源系统（5），所述控制系统（4）分别与行走机构（1）、采摘机械手（2）、视觉系统（3）、电源系统（5）连接，所述控制系统（4）、电源系统（5）与行走机构（1）固定连接，其特征在于所述采摘机械手（2）为四自由度关节型机械手且通过底座（22）与行走机构（1）固定连接，所述视觉系统（3）的视觉传感器（31）固定设置于采摘机械手（2）的腕部（29）上方，所述视觉系统（3）的视觉控制模块与控制系统（4）集成一体并与视觉传感器（31）信号连接，所述视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器（31）传送来的图像进行采摘目标定位识别，所述视觉控制模块将采摘目标定位信息传给控制系统（4），所述控制系统（4）控制行走机构（1）移动和/或机械手（2）摘取水果并放入水果收集装置。2.根据权利要求1所述基于机器视觉的智能水果采摘机器人，其特征在于所述视觉控制模块根据事先输入的预采摘水果的图片建立模型数据集，运行Fcntrain程序进行全卷积网络水果模型训练，然后将视觉传感器（31）传送来的图像运行Fcntest程序进行采摘目标的识别和定位获得目标定位信息。3.根据权利要求2所述基于机器视觉的智能水果采摘机器人，其特征在于所述视觉控制模块采用FCN-32S、FCN-16S或FCN-8S的反卷积方法来对模型数据集进行水果模型训练。4.根据权利要求1所述基于机器视觉的智能水果采摘机器人，其特征在于所述行走机构（1）包括底盘（11）、驱动轮（12）、履带（13）、承重轮（14）、行走驱动机构（15）、箱体（16），所述底盘（11）通过承重轮（14）置于履带（13）上，所述行走驱动机构（15）固定设置于底盘（11）的一端且行走驱动机构（15）的两端设置有驱动轮（12），所述驱动轮（12）与履带（13）啮合并驱动履带（13）转动，所述箱体（16）固定设置于底盘（11）的两侧履带（13）之间的上端且内部固定设置有控制系统（4）和电源系统（5）。5.根据权利要求1所述基于机器视觉的智能水果采摘机器人，其特征在于所述采摘机械手（2）包括底座（22）、腰部（23）、大臂（25）、小臂（27）、腕部（29）、末端执行器（2A），所述底座（22）与行走机构（1）固定连接，所述腰部（23）...

【专利技术属性】
技术研发人员：张印辉，常林，何自芬，武玉琪，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53