【技术实现步骤摘要】
本专利技术涉及果蔬智能采摘机器人，具体而言，涉及一种果蔬采摘环抱式末端执行器及基于6d位姿的仿生视觉抓取方法。
技术介绍
1、在农业生产过程中，鲜食果蔬的收获是占用劳动力最多且最难实现机械化作业的关键环节，特别是一些需要精细作业的果蔬如番茄、苹果、石榴、柑橘等的采摘，基本上都是以手工劳动为主，自动化程度仍然非常低。人工采收劳动强度大、成本高成为阻碍果蔬产业现代化发展进程的主要因素。由于果蔬生长环境的非结构化，生长状态复杂且具有易损性和柔嫩性等特点，传统的机械化作业基本无法实现，高度自动化的智能采摘机器人作业成为现代农业发展所追求的目标。采摘机器人工作的基本过程是：机器人视觉传感器获取场景内的图像，经过视觉系统解析对成熟待采果蔬识别和定位，并且得到较为精确的果实姿态，决策系统规划好采摘路线后，控制器驱动末端执行器依次抓取果实，从而将果实与果梗或枝干分离。
2、末端执行器又称为采摘机械抓手，其作为采摘机器人进行采摘动作的核心执行者，末端执行器的结构设计及抓取、采摘实现方式至关重要。
3、通常而言，番茄、苹果、石榴、柑橘等类圆形果蔬生长环境枝叶相互交错，果实容易被枝叶遮挡，且果实的生长姿态差异较大，果实和果实之间重叠和遮挡现象严重，对于采摘机器人采摘作业具有极高的挑战性，此外由于番茄、苹果、石榴、柑橘等类圆形果蔬外皮脆弱而极易受到损伤。整个采摘作业过程主要通过感知、接触和抓取控制来实现，其中通过机器视觉获取果蔬目标位置和姿态信息并对其进行快速无损摘取一直是采摘自动化领域的核心和瓶颈问题，抓取过程中力觉信息的获取
4、此外，采摘机器人进行采摘动作整个过程中，通过机器视觉获取果蔬目标位置和姿态信息是采摘机器人执行实时交互任务的关键。在长势错综复杂的果蔬场景中，如何快速、精准的获得果实目标在空间中的目标位置和姿态信息，是果蔬智能采摘机器人领域亟待取得突破的技术难题。
技术实现思路
1、本专利技术针对用于番茄、苹果、石榴、柑橘等类圆形果蔬的面仿形采摘末端执行器，为了解决如何改善抓取、采摘的适应性和可靠性，提高采摘效率，减少抓取对果蔬菜造成的损伤，以及如何提高采摘机器人基于机器视觉获得果实目标在空间中目标位置和姿态信息的快速性、精准性的技术问题，提供一种面向类圆形果蔬抓取采摘的果蔬采摘环抱式末端执行器和基于6d位姿的仿生视觉抓取方法。
2、仿生视觉是依据人眼立体视觉的原理感知目标信息，也就是采用双目相机来模仿人眼对周围环境的感知，以便在长势错综复杂的果蔬场景中检测出果实目标。本专利技术还针对采摘机器人通过机器视觉技术获取果蔬目标位置和姿态信息的过程进行改进，提出采用6d姿态估计果实目标相对参考坐标系的平移和旋转位置。
3、本专利技术提供一种基于6d位姿的仿生视觉抓取方法，包括以下步骤：
4、第一步，通过rgb-d相机获取rgb二维图像和depth深度图像；
5、第二步，通过机器视觉系统对rgb二维图像中的果实目标进行识别，并判断其成熟度，进而确定成熟待采果实目标；
6、第三步，提取成熟待采果实目标的二维外观特征信息；
7、第四步，将depth深度图像转换为点云信息；
8、第五步，从点云信息提取三维点云特征信息；
9、第六步，将三维点云特征信息与二维外观特征信息相融合估计6d位姿，基于多模态特征选择机制分别从三维点云特征信息、二维外观特征信息中选取特征并按照一定的权重结合起来，从而得到逐像素融合特征，再将逐像素融合特征输入多层感知器得到6d位姿信息；
10、第七步，在6d位姿基础上提取抓取点位置坐标，得到成熟待采果实目标的坐标序列；
11、第八步，通过手眼相机坐标转换得到成熟待采果实目标的方位和朝向；
12、第九步，机械臂带动采摘执行末端靠近成熟待采果实目标，采摘执行末端对成熟待采果实目标进行采摘。
13、优选地，第六步中，通过基于深度学习结构的自动编码器进行特征选择和权重的自动调整。
14、优选地：第三步，通过卷积神经网络提取成熟待采果实目标的二维外观特征信息，提取到的二维外观特征信息表示为具有p/2维的特征
15、第五步，通过卷积神经网络提取三维点云特征信息，提取到的三维点云特征表示为具有p/2维的特征
16、所述第六步中，将和结合起来得到p维特征(v1,v2,…,vp)；p维特征(v1,v2,…,vp)表示为一个n×p的矩阵[v1,v2,…,vp]；自动编码器的编码网络表示为一个p×q的矩阵：
17、
18、通过矩阵乘法操作[v1,v2,…,vp]×apq得到q维的局部加权特征[v'1,v'2,…,v'p]；
19、自动编码器的解码网络表示为一个q×r的矩阵：
20、
21、通过矩阵乘法操作[v'1,v'2,…,v'p]×aqr得到r维的各像素级特征[v"1,v"2,…,v″r]；
22、将[v"1,v"2,…,v″r]输入多层感知器得到在这s维中找到每一维的均值，得到s维的全局加权特征将全局加权特征拓展到n个像素上得到n×s矩阵：
23、
24、在n个像素上将局部加权特征[v'1,v'2,…,v'q]和拓展到n个像素上的全局加权特征里面的元素按序排列融合在一起，得到逐像素特征将输入多层感知器，进而得到6d位姿信息。
25、优选地，第二步中，基于yolov8-seg深度学习目标分割算法，利用前期采集的大规模果蔬采收场景图像数据集进行多轮训练后得到yolov8-seg深度学习果实分割模型；
26、借助yolov8-seg深度学习果实分割模型对rgb二维图像中的果实目标进行识别分割，同时判断其成熟度，进而确定成熟待采果实目标。
27、优选地，第九步中，采摘执行末端通过扭转式动作对成熟待采果实目标进行抓取采摘。
28、优选地，采摘执行末端包括电动旋转夹爪、第一抓手连接杆、第二抓手连接杆、第一仿形面抓手和第二仿形面抓手；电动旋转夹爪设有夹爪旋转块、第一滑块和第本文档来自技高网...
【技术保护点】
1.一种基于6D位姿的仿生视觉抓取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于6D位姿的仿生视觉抓取方法，其特征在于，所述第六步中，通过基于深度学习结构的自动编码器进行特征选择和权重的自动调整。
3.根据权利要求2所述的基于6D位姿的仿生视觉抓取方法，其特征在于：
4.根据权利要求1、2或3所述的基于6D位姿的仿生视觉抓取方法，其特征在于，所述第二步中，基于yolov8-seg深度学习目标分割算法，利用前期采集的大规模果蔬采收场景图像数据集进行多轮训练后得到yolov8-seg深度学习果实分割模型；
5.根据权利要求1、2或3所述的基于6D位姿的仿生视觉抓取方法，其特征在于，所述第九步中，采摘执行末端通过扭转式动作对成熟待采果实目标进行抓取采摘。
6.根据权利要求5所述的基于6D位姿的仿生视觉抓取方法，其特征在于，所述采摘执行末端包括电动旋转夹爪、第一抓手连接杆、第二抓手连接杆、第一仿形面抓手和第二仿形面抓手；
7.根据权利要求6所述的基于6D位姿的仿生视觉抓取方法，其特征在于，所述第二仿形
8.一种基于RGB-D的目标物体6D位姿估计方法，其特征在于，包括以下步骤：
9.根据权利要求8所述的基于RGB-D的目标物体6D位姿估计方法，其特征在于，通过基于深度学习结构的自动编码器进行特征选择和权重的自动调整。
10.根据权利要求9所述的基于RGB-D的目标物体6D位姿估计方法，其特征在于：
...【技术特征摘要】
1.一种基于6d位姿的仿生视觉抓取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于6d位姿的仿生视觉抓取方法，其特征在于，所述第六步中，通过基于深度学习结构的自动编码器进行特征选择和权重的自动调整。
3.根据权利要求2所述的基于6d位姿的仿生视觉抓取方法，其特征在于：
4.根据权利要求1、2或3所述的基于6d位姿的仿生视觉抓取方法，其特征在于，所述第二步中，基于yolov8-seg深度学习目标分割算法，利用前期采集的大规模果蔬采收场景图像数据集进行多轮训练后得到yolov8-seg深度学习果实分割模型；
5.根据权利要求1、2或3所述的基于6d位姿的仿生视觉抓取方法，其特征在于，所述第九步中，采摘执行末端通过扭转式动作对成熟待采果实目标进行抓取...
【专利技术属性】
技术研发人员：柴秀娟，樊湘鹏，张凝，张文蓉，孙坦，
申请(专利权)人：中国农业科学院农业信息研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。