【技术实现步骤摘要】
本专利技术涉及柚果采摘领域，更具体的说是涉及一种应用于柚果采摘设备的果梗位姿识别方法。
技术介绍
1、在现代农业自动化进程中，水果采摘机器人作为智能农机装备的重要组成部分，对于提高果园作业效率、降低劳动成本具有重要意义。然而，针对特定水果如柚果的自动化采摘技术仍面临诸多挑战，尤其是在果实识别与精准定位方面。现有的柚果采摘设备大多依赖于简单的颜色识别或者固定的形状匹配策略，这些方法在复杂多变的自然环境中显得力不从心。
2、当前，果园环境自然、复杂，光照强度、方向随时间和天气不断变化，加之树叶与果实的自然遮挡，导致基于简单色彩或形状的识别算法容易受到干扰，无法在各种光照和遮挡条件下稳定工作，识别准确率大幅下降。现有方案更多侧重于rgb图像处理，未能充分整合深度信息来增强果实的空间感知能力。缺乏深度数据的支持，使得系统难以精确区分前景果实与背景枝叶，尤其是在果实密集或深度变化复杂的情况下，导致果实姿态估计误差较大。
3、虽然深度学习模型在图像分割领域取得了显著成效，但直接应用于果园复杂场景时，模型复杂度与计算需求过高，影响实时性。模型对小尺度或部分遮挡果实的分割效果不佳，影响了后续的果实姿态判断。
4、同时，传统的果实姿态估计方法通常依赖于固定的形状假设或简化的几何模型，无法充分考虑果实实际形态的多样性，尤其是在果实成熟过程中形状的变化。这导致姿态识别不够精确，影响抓取策略的有效制定。在实际果园作业中，动态的背景(如风动的树叶)和静态的干扰物(如其他果实、枝干)会严重干扰图像识别的准确性。现有技术在
5、此外，果梗作为采摘的关键点，其精确定位至关重要。然而，现有的定位方法往往依赖于简化的几何推断或模板匹配，忽视了果实姿态的复杂性和果梗形态的多样性，导致抓取失败率较高。
6、因此，如何设计一种应用于柚果采摘设备的果梗位姿识别方法，提高柚果采摘自动化设备的识别精度和工作效率，降低误采率和果实损伤率是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种应用于柚果采摘设备的果梗位姿识别方法，集成多种先进技术，实现了从图像数据预处理到果梗位姿精确识别的全流程优化，使柚果采摘设备能更好地适应果园复杂环境，为智能农业的自动化发展提供有力支撑。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种应用于柚果采摘设备的果梗位姿识别方法，包括以下步骤：
4、s1、对待识别场景的图像数据进行预处理，获得预处理后的图像数据；所述图像数据包括：rgb图和深度图；
5、s2、将所述预处理后的图像数据输入优化后的实例分割模型，获得单个柚果的深度图；
6、s3、基于所述单个柚果的深度图，识别椭圆形的果实姿态特征区域，并结合霍夫椭圆检测算法，获得果实姿态特征区域的椭圆倾斜角；
7、s4、通过所述果实姿态特征区域的椭圆倾斜角，计算获得柚果果梗的位置和姿态。
8、其中，所述s1中，预处理包括：
9、s11、利用时空联合嵌入网络对图像数据中的rgb图和深度图进行对齐，保证任一像素在空间维度和时间维度的一致性；
10、s12、基于对齐后的图像数据，通过自适应双边形态滤波器对图像数据中的深度图进行滤波与平滑处理，获得滤波与平滑处理后的图像数据；
11、s13、结合柚果采摘设备的实际工作半径与作业高度，进行深度阈值设定，对滤波与平滑处理后的图像数据中的深度图进行像素点过滤，生成掩码图；
12、s14、对所述掩码图和滤波与平滑处理后的图像数据中的rgb图进行叠加处理，滤除采摘范围外的彩色像素点，获得叠加处理后的图像数据；
13、s15、对所述叠加处理后的图像数据进行柚果轮廓增强，获得预处理后的图像数据。
14、进一步的，所述s11，包括：
15、s111、采用时空联合嵌入网络中的时空注意力模块，分析连续图像帧之间的光流信息与深度差异，进行动态区域识别；
16、s112、结合时空联合嵌入网络中的辅助层，对所述动态区域进行时间序列数据捕捉；
17、s113、基于动态区域识别与时间序列分析的结果，实施自适应权重融合策略，调整图像数据中的rgb图和深度图融合权重，增强对彩色图像特征的依赖；
18、s114、采用梯度下降算法对经过自适应权重融合的rgb图与深度图进行多尺度融合，实现从整体到局部的精确对齐。
19、进一步的，所述s12，包括：
20、s121、基于图像数据中的深度图的局部特征，确定自适应双边形态滤波器滤波核尺寸；
21、s122、进行深度自适应权重优化，为距离相近的像素点赋予更高权重；
22、s123、对深度自适应权重优化后的图像数据中的深度图进行形态学运算；所述形态学运算中，动态选择并执行开闭运算的组合与参数调整；
23、s124、建立滤波前后图像差异的反馈机制，对形态学运算执行结果进行分析处理，动态调整滤波参数防止过度平滑。
24、进一步的，所述s15，包括：
25、s151、采用动态背景抑制策略，分析叠加处理后的图像数据中的光流信息与帧间差异，更新背景模型，进行背景干扰和动态变化因素去除；
26、s152、基于去除背景干扰和动态变化因素后的图像数据，结合遮挡注意机制，进行遮挡区域与非遮挡区域识别；
27、s153、对遮挡区域与非遮挡区域识别后的图像数据，利用多尺度特征金字塔网络，结合边缘检测算法，进行不同尺度上柚果轮廓可视化加强，获得初始轮廓增强图像；
28、s154、引入自适应轮廓细化网络，对初始轮廓增强图像进行智能细化处理，识别并修正因遮挡或图像噪声导致的轮廓缺陷，获得预处理后的图像数据。
29、进一步的，所述s2中，实例分割模型采用深度可分离卷积与自注意力机制结合的u-net架构，包括：编码器、注意力模块、解码器和输出层；
30、其中，编码器使用深度可分离卷积的resnet瓶颈模块，并增设有多任务学习分支，用于进行深度图预测、边缘图预测和果梗位置预测；解码器采用跳跃连接；注意力模块结合有动态上下文增强策略，根据图像内容动态调整通道和空间注意力权重。
31、进一步的，所述s2中，实例分割模型优化包括：实例分割模型训练前，采用轻量级深度wise增强策略，对图像数据中的深度图实施轻量级变换；
32、实例分割模型训练过程中，采用自适应损失函数；所述自适应损失函数包括：类别不平衡损失、边界清晰度损失和深度一致性损失。
33、进一步的，所述s3中，识别椭圆形的果实姿态特征区域，包括：
34、s311、通过排序算法分析单个柚果深度图的深度值区间，设定特征区域的深度阈值，进行非目标区域像素剔除；
<本文档来自技高网...【技术保护点】
1.一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述S1中，预处理包括：
3.根据权利要求2所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述S11，包括：
4.根据权利要求2所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述S12，包括：
5.根据权利要求2所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述S15，包括：
6.根据权利要求1所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述S2中，实例分割模型采用深度可分离卷积与自注意力机制结合的U-Net架构，包括：编码器、注意力模块、解码器和输出层；
7.根据权利要求1所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述S2中，实例分割模型优化包括：实例分割模型训练前，采用轻量级深度wise增强策略，对图像数据中的深度图实施轻量级变换；
8.根据权利要求1所述的一种应用于柚
9.根据权利要求1所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述S3中，获得果实姿态特征区域的椭圆倾斜角，包括：
10.根据权利要求1所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述S4，包括：
...【技术特征摘要】
1.一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述s1中，预处理包括：
3.根据权利要求2所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述s11，包括：
4.根据权利要求2所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述s12，包括：
5.根据权利要求2所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述s15，包括：
6.根据权利要求1所述的一种应用于柚果采摘设备的果梗位姿识别方法，其特征在于，所述s2中，实例分割模型采用深度可分离卷积与自注意力机制结合...
【专利技术属性】
技术研发人员：李震，余正炜，吕石磊，程上上，赵文锋，杨洲，薛秀云，曾慧君，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。