一种用于苹果果实空间位姿信息的获取方法及系统技术方案

本发明专利技术公开了一种用于苹果果实空间位姿信息的获取方法及系统，涉及图像识别技术领域，其技术方案是，构建仿真模拟器，使用改进后苹果模型，进行渲染，模拟仿真获取6D位姿估计数据集；通过精简原网络结构并在其基础上增加点云技术对EfficientPose网络进行改进；训练权重文件；通过双目相机获取苹果果实的二维彩色图像帧并导入改进后EfficientPose网络模型确定苹果果实点云信息及姿势信息；对苹果点云信息进行处理、信息获取及空间位置的还原。通过本发明专利技术，可以有效提高果蔬采摘机器人的工作效率和采摘准确性，提高农业生产效益。提高农业生产效益。提高农业生产效益。

【技术实现步骤摘要】
一种用于苹果果实空间位姿信息的获取方法及系统


[0001]本专利技术涉及图像识别
，具体而言，涉及一种用于苹果果实空间位姿信息的获取方法及系统。

技术介绍

[0002]苹果产量随着全球需求而继续扩大，采收作业劳动力投入占整个生产作业量的50～70％，我国是传统农业大国，果实采收严重依赖人工攀爬采摘，效率低且存在一定的危险性，采摘机器人出现成为解决这一问题的重要手段。
[0003]为了保证水果果实新鲜，需要在抓取过程中尽量减少对果实的损伤。获取到目标果实抓取信息至关重要。机器人视觉系统是收获机器人工作中极为重要一环。近些年随着计算机视觉技术的不断发展，深度学习技术在准确性和泛化方面逐渐表现出优异的性能。在6D位姿估计方面，利用深度学习和rbg
‑
only技术直接进行6D姿态回归方法展现出了出色的性能。但基于二维图像识别的方法只是对果实的形心进行单点三维定位，无法准确反映果实在实际作业环境中空间三维信息(大小、形状等)，同时也不利于收获机器人在复杂空间中快速规划准确采摘路径以及避障和实现下一步采摘动作。
[0004]随着传感器设备和计算机处理能力的不断提高，点云技术在近年来得到了广泛的应用。但进行大规模点云数据处理需要占用大量资源，导致硬件成本增加且处理速度变慢。

技术实现思路

[0005]为了解决上述问题，本专利技术目的在于提供一种苹果果实空间位姿信息快速高效获取方法，该技术应用了改进后EfficientPose神经网络作为基础，结合点云技术，完成苹果抓取信息获取。
[0006]为了实现上述技术目的，本申请提供了一种用于苹果果实空间位姿信息的获取方法，包括以下步骤：
[0007]通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的神经网络模型；
[0008]使用双目相机获取二维彩色图像帧，导入到神经网络模型中进行预测，获取苹果果实的姿势信息及单视角点云信息后，还原苹果果实在空间中的相对位置并提取所需信息。
[0009]优选地，在获取6D位姿估计数据集的过程中，通过点云偏置采样获取苹果模型，构建苹果果实的6D位姿估计数据集，用于加强果实顶部和底部区域点，集弱化中间区域点集。
[0010]优选地，在对EfficientPose网络进行改进的过程中，取消EfficientPose网络的TranslationSubnet，保留BoxSubnet和RotationSubnet，通过6D位姿估计数据集进行训练获取权重后，构建神经网络模型。
[0011]优选地，在通过神经网络模型进行预测的过程中，利用Box Subnet进行将网络进行拓补，将双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用
内部标定参数将像素坐标转换为相机坐标；
[0012]将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的单视角点云信息。
[0013]优选地，在还原相对位置的过程中，通过体素滤波和统计滤波对单视角点云进行预处理，用于减少点云数量，过滤多余点云；
[0014]根据预处理后的单视角点云，还原相对位置。
[0015]优选地，在还原相对位置的过程中，通过R
‑
G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割获取果实单视角点云；
[0016]通过RANSAC球面拟合算法补全单视角点云，获取形心坐标及半径；
[0017]将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
[0018]本专利技术公开了一种用于苹果果实空间位姿信息的获取系统，包括：
[0019]数据采集模块，用于获取通过双目相机采集的苹果果实的二维彩色图像帧；
[0020]位姿解析模块，用于通过神经网络模型，对二维彩色图像帧进行预测，将预测结果还原苹果果实在空间中的相对位置并提取所需信息，其中，通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的神经网络模型；所述6D位姿估计数据集是通过对点云偏置采样苹果模型所获取的。
[0021]优选地，位姿解析模块，通过点云偏置采样，获取苹果果实的6D位姿估计数据集，用于加强果实顶部和底部区域点，集弱化中间区域点集。
[0022]优选地，位姿解析模块，利用BoxSubnet进行将网络进行拓补，将双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标；
[0023]将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的单视角点云信息。
[0024]优选地，位姿解析模块，通过体素滤波和统计滤波对单视角点云进行预处理，用于减少点云数量，过滤多余点云；根据预处理后的单视角点云，还原相对位置；
[0025]位姿解析模块，还通过R
‑
G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割获取果实单视角点云；通过RANSAC球面拟合算法补全单视角点云，获取形心坐标及半径；将同场景多个目标果实点云进行空间位置还原，得到各个果实空间三维信息和相对位置。
[0026]本专利技术公开了以下技术效果：
[0027]本专利技术有效提高果蔬采摘机器人的工作效率和采摘准确性，提高农业生产效益。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1是本专利技术所述的果实空间信息获取整体结构图；
[0030]图2是本专利技术所述的苹果模型，其中，a表示均匀采样点集苹果模型，b表示偏置采样点集苹果模型；
[0031]图3是本专利技术所述的改进后EfficientPose网络结构图；
[0032]图4是本专利技术所述的结果图，其中，a表示预测框结果图，b表示姿态估计结果图，c表示单视角点云信息图；
[0033]图5是本专利技术所述的获取最终苹果果实的空间三维信息的步骤示意图。
具体实施方式
[0034]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于苹果果实空间位姿信息的获取方法，其特征在于，包括以下步骤：通过欧拉角替换旋转矩阵对EfficientPose网络模型进行改进，依据苹果果实的6D位姿估计数据集进行训练，构建用于位姿预测的神经网络模型；使用双目相机获取二维彩色图像帧，导入到所述神经网络模型中进行预测，获取所述苹果果实的姿势信息及单视角点云信息后，还原所述苹果果实在空间中的相对位置并提取所需信息。2.根据权利要求1所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：在获取6D位姿估计数据集的过程中，通过点云偏置采样，获取所述苹果果实的所述6D位姿估计数据集，用于加强果实顶部和底部区域点，集弱化中间区域点集。3.根据权利要求2所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：在对EfficientPose网络进行改进的过程中，取消所述EfficientPose网络的TranslationSubnet，保留BoxSubnet和RotationSubnet，通过所述6D位姿估计数据集进行交叉验证训练获取权重后，构建所述神经网络模型。4.根据权利要求3所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：在通过神经网络模型进行预测的过程中，利用所述BoxSubnet进行将网络进行拓补，将所述双目相机所获取的BoxSubnet通过左右相机之间的视差转换为深度信息，并使用内部标定参数将像素坐标转换为相机坐标；将相机坐标系下的点云数据转换为世界坐标系下的点云数据，得到目标果实的所述单视角点云信息。5.根据权利要求4所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：在还原相对位置的过程中，通过体素滤波和统计滤波对所述单视角点云进行预处理，用于减少点云数量，过滤多余点云；根据预处理后的所述单视角点云，还原所述相对位置。6.根据权利要求5所述一种用于苹果果实空间位姿信息的获取方法，其特征在于：在还原相对位置的过程中，通过R
‑
G颜色阈值与距离阈值对预处理后的点云进行分割后进行法线计算，设置角度阈值进行分割...

【专利技术属性】
技术研发人员：李娜，张立杰，安楠，高笑，张延强，陈广毅，
申请(专利权)人：河北农业大学，
类型：发明
国别省市：