一种基于双目视觉的花朵授粉方法、设备及介质技术

本说明书实施例公开了一种基于双目视觉的花朵授粉方法、设备及介质，涉及花朵授粉技术领域，方法包括：采集待授粉植株的待授粉植株点云数据，确定待授粉植株的植株类型和所述待授粉植株的多个目标植株结构，以确定目标植株结构的结构属性，根据目标植株结构的结构属性，在多个目标植株结构的植株花中确定出至少一个待授粉花柱；基于每个植株叶片的叶片位置、待授粉花柱中心点位置信息和预先获取的授粉执行装置的执行起点的位置信息，生成多个待授粉花柱的授粉顺序；获取待授粉植株的实时环境参数，通过待授粉植株的植株类型和实时环境参数，生成待授粉植株的授粉参数，基于多个待授粉花柱的授粉顺序和授粉参数，实现花朵授粉。粉。粉。

【技术实现步骤摘要】
一种基于双目视觉的花朵授粉方法、设备及介质


[0001]本说明书涉及花朵授粉
，尤其涉及一种基于双目视觉的花朵授粉方法、设备及介质。

技术介绍

[0002]在农作物种植过程中，授粉是提高农作物产量的必要行为，通常情况下采用人工授粉的方式，但是随着技术的发展以及人工成本的提高，人工授粉无法满足大型农作物的授粉需求，智能种植业应运而生。
[0003]随着智能种植业的不断发展，智能机器人与农业生成的结合将会进一步推动农业的发展步伐，在现有的智能授粉机器人的应用过程中，不同类型、不同姿态的植株授粉要求不同，其对应的授粉参数和授粉路径通常需要人工对授粉机器人进行设置，智能化程度相对较低，无法适用于大量授粉的应用场景。

技术实现思路

[0004]本说明书一个或多个实施例提供了一种基于双目视觉的花朵授粉方法、设备及介质，用于解决如下技术问题：在现有的智能授粉机器人的应用过程中，不同类型、不同姿态的植株授粉要求不同，其对应的授粉参数和授粉路径通常需要人工对授粉机器人进行设置，智能化程度相对较低，无法适用于大量授粉的应用场景。
[0005]本说明书一个或多个实施例采用下述技术方案：
[0006]本说明书一个或多个实施例提供一种基于双目视觉的花朵授粉方法，所述方法包括：通过预置的双目相机，采集待授粉植株的待授粉植株点云数据，对所述待授粉植株点云数据进行识别，确定待授粉植株的植株类型和所述待授粉植株的多个目标植株结构，以确定所述目标植株结构的结构属性，其中，所述目标植株结构包括植株花和植株叶片，所述结构属性包括植株花位姿和叶片位姿中的任意一项；根据所述目标植株结构的结构属性，在所述多个目标植株结构的植株花中确定出至少一个待授粉花柱，以获取每个所述待授粉花柱对应的待授粉花柱中心点位置信息；基于每个所述植株叶片的叶片位置、每个所述待授粉花柱对应的所述待授粉花柱中心点位置信息和预先获取的授粉执行装置的执行起点的位置信息，进行路径规划，以生成待授粉植株多个待授粉花柱的授粉顺序；获取所述待授粉植株的实时环境参数，通过所述待授粉植株的植株类型和所述实时环境参数，生成所述待授粉植株的授粉参数，基于所述待授粉植株多个待授粉花柱的授粉顺序和所述待授粉植株的授粉参数，实现花朵授粉，其中，所述实时环境参数包括湿度数据、温度数据和光照数据，所述授粉参数包括授粉量、单次授粉时间和授粉间隔。
[0007]进一步地，根据所述目标植株结构的结构属性，在所述多个目标植株结构的植株花中确定出至少一个待授粉花柱，以获取每个所述待授粉花柱对应的待授粉花柱中心点位置信息，具体包括：确定所述待授粉植株中的每个植株花的植株花位姿，其中，所述植株花位姿包括开放性位姿、全闭合性位姿和部分闭合性位姿，所述开放性位姿为花瓣未闭合、花
柱可见的位姿，所述全闭合性位姿为花柱被花瓣完全包裹的位姿，所述部分闭合性位姿为花柱被花瓣包裹部分区域，且所述部分区域占所述花柱的比例小于预设比例阈值的位姿；根据每个植株花的植株花位姿，筛选出所述部分闭合性位姿对应的多个部分闭合植株花；根据所述部分闭合植株花的位姿数据和所述植株叶片的位姿数据，判断所述部分闭合植株花是否为待授粉植株花，以在所述多个部分闭合植株花中确定出指定待授粉植株花；将所述指定待授粉植株花和所述开放性位姿对应的植株花，作为所述待授粉植株，以确定出至少一个待授粉花柱。
[0008]进一步地，根据所述部分闭合植株花的位姿数据和所述植株叶片的位姿数据，判断所述部分闭合植株花是否为待授粉植株花，以在所述多个部分闭合植株花中确定出指定待授粉植株花，具体包括：以每个所述部分闭合植株花为中心，构建每个所述部分闭合植株花的待识别区域，并在所述待识别区域中对每个所述部分闭合植株花的外露花柱区域的多个花朵轮廓点进行标注，其中，所述待识别区域中包括多个待识别植株的植株叶片；获取所述待识别区域内的每个待识别植株叶片的叶片位姿数据和所述部分闭合植株花的位置数据，基于所述叶片位姿数据，在每个所述待识别植株叶片上标注多个叶片轮廓点；基于所述多个叶片轮廓点的位置数据和每个所述花朵轮廓点的位置数据，在所述待识别区域中确定与每个所述花朵轮廓点距离最近的指定叶片轮廓点，以建立所述指定叶片轮廓点和每个所述花朵轮廓点的对应关系；根据所述指定叶片轮廓点和每个所述花朵轮廓点的对应关系，计算每个所述花朵轮廓点与所述指定叶片轮廓点的距离，得到多个距离值，以基于所述多个距离值，确定所述距离值中超过预设距离阈值的多个第一指定叶片轮廓点；根据所述多个第一指定叶片轮廓点的位置数据或每个所述第一指定叶片轮廓点对应的第一花朵轮廓点的位置数据，判断所述部分闭合植株花是否为待授粉植株花，以在所述多个部分闭合植株花中确定出指定待授粉植株花。
[0009]进一步地，根据所述多个第一指定叶片轮廓点的位置数据或每个所述第一指定叶片轮廓点对应的第一花朵轮廓点的位置数据，判断所述部分闭合植株花是否为待授粉植株花，具体包括：根据每个所述第一指定叶片轮廓点的位置数据，将所述多个第一指定叶片轮廓点进行直线连接，得到至少一个叶片线段；判断所述叶片线段中是否存在至少一个其他叶片轮廓点，其中，所述其他叶片轮廓点为除所述第一指定叶片轮廓点之外的叶片轮廓点；若所述至少一个叶片线段中均不存在其他叶片轮廓点时，判定所述部分闭合植株花为所述待授粉植株花；根据所述多个第一指定叶片轮廓点的位置数据或每个所述第一指定叶片轮廓点对应的第一花朵轮廓点的位置数据，判断所述部分闭合植株花是否为待授粉植株花，具体包括：根据每个所述第一指定叶片轮廓点对应的第一花朵轮廓点的位置数据，将所述多个第一花朵轮廓点进行直线连接，得到至少一个花朵线段；判断所述花朵线段中是否存在至少一个其他花朵轮廓点，其中，所述其他花朵轮廓点为除所述第一花朵轮廓点之外的花朵轮廓点；若所述至少一个线段中均不存在所述其他花朵轮廓点时，判定所述部分闭合植株花为待授粉植株花。
[0010]进一步地，对所述待授粉植株点云数据进行识别，确定待授粉植株的植株类型和所述待授粉植株的多个目标植株结构，以确定所述目标植株结构的结构属性，具体包括：通过预先训练的植株预测模型，对所述待授粉植株点云数据进行识别，输出所述待授粉植株的植株类型以及标注后的待授粉植株图像，其中，所述标注后的待授粉植株图像包括多个
目标植株结构；以所述待授粉植株图像的指定点为原点，构建参考坐标系，确定每个所述目标植株结构的中心点的位置坐标，作为所述植株花的植株花位置数据和所述植株叶片的叶片位置数据；基于所述标注后的待授粉植株图像，确定所述待授粉植株图像中的多个植株花子图，对每个所述植株花子图进行花柱特征识别；当所述植株花子图中不存在所述花柱特征时，判定所述植株花子图中的植株花为全闭合性位姿；当所述植株图像中存在所述花柱特征时，确定每个所述植株花子图中的当前花柱区域；根据所述待授粉植株的植株类型，获取与所述植株类型对应的理论花柱区域，根据所述当前花柱区域和所述理论花柱区域，确定每个所述植株花子图中的花柱包裹区域；当所述花柱包裹区域小于预设比例阈值时，判定所述植株花子图中的植株花位姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的花朵授粉方法，其特征在于，所述方法包括：通过预置的双目相机，采集待授粉植株的待授粉植株点云数据，对所述待授粉植株点云数据进行识别，确定待授粉植株的植株类型和所述待授粉植株的多个目标植株结构，以确定所述目标植株结构的结构属性，其中，所述目标植株结构包括植株花和植株叶片，所述结构属性包括植株花位姿和叶片位姿中的任意一项；根据所述目标植株结构的结构属性，在所述多个目标植株结构的植株花中确定出至少一个待授粉花柱，以获取每个所述待授粉花柱对应的待授粉花柱中心点位置信息；基于每个所述植株叶片的叶片位置、每个所述待授粉花柱对应的所述待授粉花柱中心点位置信息和预先获取的授粉执行装置的执行起点的位置信息，进行路径规划，以生成待授粉植株多个待授粉花柱的授粉顺序；获取所述待授粉植株的实时环境参数，通过所述待授粉植株的植株类型和所述实时环境参数，生成所述待授粉植株的授粉参数，基于所述待授粉植株多个待授粉花柱的授粉顺序和所述待授粉植株的授粉参数，实现花朵授粉，其中，所述实时环境参数包括湿度数据、温度数据和光照数据，所述授粉参数包括授粉量、单次授粉时间和授粉间隔。2.根据权利要求1所述的一种基于双目视觉的花朵授粉方法，其特征在于，根据所述目标植株结构的结构属性，在所述多个目标植株结构的植株花中确定出至少一个待授粉花柱，以获取每个所述待授粉花柱对应的待授粉花柱中心点位置信息，具体包括：确定所述待授粉植株中的每个植株花的植株花位姿，其中，所述植株花位姿包括开放性位姿、全闭合性位姿和部分闭合性位姿，所述开放性位姿为花瓣未闭合、花柱可见的位姿，所述全闭合性位姿为花柱被花瓣完全包裹的位姿，所述部分闭合性位姿为花柱被花瓣包裹部分区域，且所述部分区域占所述花柱的比例小于预设比例阈值的位姿；根据每个植株花的植株花位姿，筛选出所述部分闭合性位姿对应的多个部分闭合植株花；根据所述部分闭合植株花的位姿数据和所述植株叶片的位姿数据，判断所述部分闭合植株花是否为待授粉植株花，以在所述多个部分闭合植株花中确定出指定待授粉植株花；将所述指定待授粉植株花和所述开放性位姿对应的植株花，作为所述待授粉植株，以确定出至少一个待授粉花柱。3.根据权利要求2所述的一种基于双目视觉的花朵授粉方法，其特征在于，根据所述部分闭合植株花的位姿数据和所述植株叶片的位姿数据，判断所述部分闭合植株花是否为待授粉植株花，以在所述多个部分闭合植株花中确定出指定待授粉植株花，具体包括：以每个所述部分闭合植株花为中心，构建每个所述部分闭合植株花的待识别区域，并在所述待识别区域中对每个所述部分闭合植株花的外露花柱区域的多个花朵轮廓点进行标注，其中，所述待识别区域中包括多个待识别植株的植株叶片；获取所述待识别区域内的每个待识别植株叶片的叶片位姿数据和所述部分闭合植株花的位置数据，基于所述叶片位姿数据，在每个所述待识别植株叶片上标注多个叶片轮廓点；基于所述多个叶片轮廓点的位置数据和每个所述花朵轮廓点的位置数据，在所述待识别区域中确定与每个所述花朵轮廓点距离最近的指定叶片轮廓点，以建立所述指定叶片轮廓点和每个所述花朵轮廓点的对应关系；
根据所述指定叶片轮廓点和每个所述花朵轮廓点的对应关系，计算每个所述花朵轮廓点与所述指定叶片轮廓点的距离，得到多个距离值，以基于所述多个距离值，确定所述距离值中超过预设距离阈值的多个第一指定叶片轮廓点；根据所述多个第一指定叶片轮廓点的位置数据或每个所述第一指定叶片轮廓点对应的第一花朵轮廓点的位置数据，判断所述部分闭合植株花是否为待授粉植株花，以在所述多个部分闭合植株花中确定出指定待授粉植株花。4.根据权利要求3所述的一种基于双目视觉的花朵授粉方法，其特征在于，根据所述多个第一指定叶片轮廓点的位置数据或每个所述第一指定叶片轮廓点对应的第一花朵轮廓点的位置数据，判断所述部分闭合植株花是否为待授粉植株花，具体包括：根据每个所述第一指定叶片轮廓点的位置数据，将所述多个第一指定叶片轮廓点进行直线连接，得到至少一个叶片线段；判断所述叶片线段中是否存在至少一个其他叶片轮廓点，其中，所述其他叶片轮廓点为除所述第一指定叶片轮廓点之外的叶片轮廓点；若所述至少一个叶片线段中均不存在其他叶片轮廓点时，判定所述部分闭合植株花为所述待授粉植株花；根据所述多个第一指定叶片轮廓点的位置数据或每个所述第一指定叶片轮廓点对应的第一花朵轮廓点的位置数据，判断所述部分闭合植株花是否为待授粉植株花，具体包括：根据每个所述第一指定叶片轮廓点对应的第一花朵轮廓点的位置数据，将所述多个第一花朵轮廓点进行直线连接，得到至少一个花朵线段；判断所述花朵线段中是否存在至少一个其他花朵轮廓点，其中，所述其他花朵轮廓点为除所述第一花朵轮廓点之外的花朵轮廓点；若所述至少一个线段中均不存在所述其他花朵轮廓点时，判定所述部分闭合植株花为待授粉植株花。5.根据权利要求1所述的一种基于双目视觉的花朵授粉方法，其特征在于，对所述待授粉植株点云数据进行识别，确定待授粉植株的植株类型和所述待授粉植株的多个目标植株结构，以确定所述目标植株结构的结构属性，具体包括：通过预先训练的植株预测模型，对所述待授粉植株点云数据进行识别，输出所述待授粉植株的植株类型以及标注后的待授粉植株图像，其中，所述标注后的待授粉植株图像包括多个目标植株结构；以所述待授粉植株图像的指定点为原点，构建参考坐标系，确定每个所述目标植株结构的中心点的位置坐标，作为所述植株花的植株花位置数据和所述植株叶片的叶片位置数据；基于所述标注后的待授粉植株图像，确定所述待授粉植株图像中的多个植株花子图，对每个所述植株花子图进行花柱特征识别；当所述植株花子图中不存在所述花柱特征时，判定所述植株花子图中的植株花为全闭合性位姿；当所述植株图像中存在所述花柱特征时，确...

【专利技术属性】
技术研发人员：张明月，陈奕帆，李庆党，倪泽隆，罗莎，庄勇博，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：