果串采摘机器人采摘目标建模方法技术

本发明专利技术涉及一般的图像数据处理或产生技术领域，提供一种果串采摘机器人采摘目标建模方法，包括：获取采摘机器人待采摘区的图像，通过多任务感知网络提取待采摘区的图像中的所有枝干和果簇的图像特征；根据果簇的图像特征确定待采摘的果簇；将枝干和果簇的图像特征输入从属决策模型，确定与待采摘的果簇相连的枝干；提取待采摘的果簇及其相连枝干的图像特征的关键点，对待采摘的果簇及其相连枝干进行建模。本发明专利技术的果串采摘机器人采摘目标建模方法，通过从属决策模型确定果簇和枝干的连接从属关系，将不属于采摘目标的枝干筛除，对采摘目标的确定更加精确，有效解决了现有技术中在进行果串采摘时，机器人识别到错误枝干，导致采摘失败的问题。采摘失败的问题。采摘失败的问题。

【技术实现步骤摘要】
果串采摘机器人采摘目标建模方法


[0001]本专利技术涉及一般的图像数据处理或产生
，尤其涉及一种果串采摘机器人采摘目标建模方法。

技术介绍

[0002]近年来，随着番茄的商品化和产业化程度不断提高，大型番茄种植基地和设施作物栽培取得了长足发展，纯粹依靠人工采收已经难以满足大规模商业化生产的需要。尽管机器人采摘被认为是缓解日益增加的劳动强度的有效解决方案，但复杂的农业环境以及番茄果实串在位姿和形状上的可变性，对视觉系统和采摘机器人的操作提出了严峻挑战。
[0003]对于番茄、草莓和甜椒等软皮、长柄果实，需要同时获得果实和与果实连接的枝干的空间位姿信息，以引导机械臂从枝干处将果实分离。
[0004]在实际进行采摘时，机器人获得的视觉图像中往往会有不止一棵番茄植株，这些番茄植株之间存在遮挡，呈长条状且颜色相近，机器人往往无法识别到当前待采摘植株的对应枝干，导致采摘动作失败。

技术实现思路

[0005]本专利技术提供一种果串采摘机器人采摘目标建模方法，用以解决现有技术中在进行果串采摘时，机器人识别到错误枝干，导致采摘失败的问题。
[0006]本专利技术提供果串采摘机器人采摘目标建模方法，所述果串包括枝干和连接于所述枝干的果簇，所述果串采摘机器人采摘目标建模方法包括：获取采摘机器人待采摘区的图像，通过多任务感知网络提取待采摘区的图像中的所有枝干和果簇的图像特征；根据果簇的图像特征确定待采摘的果簇；将枝干和果簇的图像特征输入从属决策模型，确定与待采摘的果簇相连的枝干；提取待采摘的果簇及其相连枝干的图像特征的关键点，对待采摘的果簇及其相连枝干进行建模。
[0007]根据本专利技术的果串采摘机器人采摘目标建模方法，所述通过多任务感知网络提取待采摘区的图像中的所有枝干和果簇的图像特征的步骤，包括：提取果串的整体图像特征；根据果串的整体图像特征，分别提取果簇的边界框和枝干的分割掩码。
[0008]根据本专利技术的果串采摘机器人采摘目标建模方法，所述多任务感知网络包括：共享编码器，用于提取果串的整体图像特征；目标检测解码器，与所述共享编码器通信连接，用于对所述果串的整体图像特征进行处理，以提取所述果簇的边界框；实例分割解码器，与所述共享编码器通信连接，用于对所述果串的整体图像特征
进行处理，以提取所述枝干的分割掩码。
[0009]根据本专利技术的果串采摘机器人采摘目标建模方法，在所述获取采摘机器人待采摘区的图像，通过多任务感知网络提取待采摘区的图像中的所有枝干和果簇的图像特征的步骤之前，包括：采集果串的图像样本；根据果串的图像样本，确定从属关系参数；通过果串的图像样本的从属关系参数对分类回归树模型进行训练，构建从属决策模型。
[0010]根据本专利技术的果串采摘机器人采摘目标建模方法，所述枝干包括主茎和果梗，所述主茎和所述果簇分别连接于所述果梗的两端，所述从属关系参数包括第一参数、第二参数、第三参数、第四参数和第五参数，所述根据果串的图像样本，确定从属关系参数的步骤，包括：根据图像样本中果簇和果梗的连接关系，确定第一参数；根据图像样本中果梗和主茎的连接关系，确定第二参数；根据图像样本中果簇和果梗的位置关系，确定第三参数；根据图像样本中果梗下端点和果簇的位置关系，确定第四参数；根据图像样本中果梗上端点和主茎中心线的距离，确定第五参数。
[0011]根据本专利技术的果串采摘机器人采摘目标建模方法，所述将枝干和果簇的图像特征输入从属决策模型，以确定与待采摘的果簇相连的枝干和果簇的步骤，包括：通过枝干和果簇的图像特征，确定从属关系参数；将从属关系参数输入从属决策模型，确定与各果簇相连的枝干，从而确定与待采摘的果簇相连的枝干。
[0012]根据本专利技术的果串采摘机器人采摘目标建模方法，所述枝干包括主茎和果梗，所述主茎和所述果簇分别连接于所述果梗的两端，所述关键点包括果簇关键点、果梗关键点和主茎关键点，所述提取待采摘的果簇及其相连枝干的图像特征的关键点，对待采摘的果簇及其相连枝干进行建模的步骤，包括：提取位于果簇边界框的果簇关键点，构建果簇模型；提取果梗的分割掩码内的果梗关键点，构建果梗模型；提取主茎的分割掩码内的主茎关键点，构建主茎模型。
[0013]根据本专利技术的果串采摘机器人采摘目标建模方法，所述果簇关键点包括所述果簇边界框的各个顶点。
[0014]根据本专利技术的果串采摘机器人采摘目标建模方法，所述果梗关键点包括所述果梗和所述主茎的连接点、所述果梗和所述果簇的连接点、所述果梗中段的拐点。
[0015]根据本专利技术的果串采摘机器人采摘目标建模方法，所述主茎关键点包括第一关键点和第二关键点，所述第一关键点为所述果梗和所述主茎的连接点，所述第二关键点有多个，所述第二关键点沿所述主茎延伸方向间隔设置于所述第一关键点两侧。
[0016]本专利技术的果串采摘机器人采摘目标建模方法，通过多任务感知网络对待采摘区的图像进行处理，多任务感知网络能够多任务并行，同时提取枝干和果簇的图像特征，处理效率更高；根据果簇和枝干的图像特征，基于从属决策模型确定果簇和枝干的连接从属关系，
将不属于采摘目标的枝干筛除，确定待采摘的果簇和与其相连的枝干，对采摘目标的确定更加精确，有效解决了现有技术中在进行果串采摘时，机器人识别到错误枝干，导致采摘失败的问题。
附图说明
[0017]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术实施例提供的果串采摘机器人采摘目标建模方法的流程图之一；图2是本专利技术实施例提供的果串的示意图之一；图3是本专利技术实施例提供的果串的示意图之二；图4是本专利技术实施例提供的果串采摘机器人采摘目标建模方法的流程图之二；图5是本专利技术实施例提供的果串采摘机器人采摘目标建模方法的流程图之三；图6是本专利技术实施例提供的果串采摘机器人采摘目标建模方法的流程图之四；图7是本专利技术实施例提供的果串采摘机器人采摘目标建模方法的流程图之五；图8是本专利技术实施例提供的果串采摘机器人采摘目标建模方法的流程图之六；图9是本专利技术实施例提供的果串采摘机器人采摘目标建模系统的系统示意图；图10是本专利技术实施例提供的果串采摘机器人采摘目标建模系统的结构示意图；附图标记：1、果串；11、枝干；12、果簇；111、主茎；112、果梗；910、多任务感知模块；920、从属决策模块；930、建模模块；1010、处理器；1020、通信接口；1030、存储器；1040、通信总线。
具体实施方式
[0019]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种果串采摘机器人采摘目标建模方法，其特征在于,所述果串包括枝干和连接于所述枝干的果簇，所述果串采摘机器人采摘目标建模方法包括：获取采摘机器人待采摘区的图像，通过多任务感知网络提取待采摘区的图像中的所有枝干和果簇的图像特征；根据果簇的图像特征确定待采摘的果簇；将枝干和果簇的图像特征输入从属决策模型，确定与待采摘的果簇相连的枝干；提取待采摘的果簇及其相连枝干的图像特征的关键点，对待采摘的果簇及其相连枝干进行建模。2.根据权利要求1所述的果串采摘机器人采摘目标建模方法，其特征在于，所述通过多任务感知网络提取待采摘区的图像中的所有枝干和果簇的图像特征的步骤，包括：提取果串的整体图像特征；根据果串的整体图像特征，分别提取果簇的边界框和枝干的分割掩码。3.根据权利要求2所述的果串采摘机器人采摘目标建模方法，其特征在于，所述多任务感知网络包括：共享编码器，用于提取果串的整体图像特征；目标检测解码器，与所述共享编码器通信连接，用于对所述果串的整体图像特征进行处理，以提取所述果簇的边界框；实例分割解码器，与所述共享编码器通信连接，用于对所述果串的整体图像特征进行处理，以提取所述枝干的分割掩码。4.根据权利要求1所述的果串采摘机器人采摘目标建模方法，其特征在于，在所述获取采摘机器人待采摘区的图像，通过多任务感知网络提取待采摘区的图像中的所有枝干和果簇的图像特征的步骤之前，包括：采集果串的图像样本；根据果串的图像样本，确定从属关系参数；通过果串的图像样本的从属关系参数对分类回归树模型进行训练，构建从属决策模型。5.根据权利要求4所述的果串采摘机器人采摘目标建模方法，其特征在于，所述枝干包括主茎和果梗，所述主茎和所述果簇分别连接于所述果梗的两端，所述从属关系参数包括第一参数、第二参数、第三参数、第四参数和第五参数，所述根据果串的图像样本，确定从...

【专利技术属性】
技术研发人员：冯青春，李亚军，彭传浪，张艺凡，
申请(专利权)人：北京市农林科学院智能装备技术研究中心，
类型：发明
国别省市：