一种基于多传感器融合技术的核桃自动化采摘及收集方法技术

本发明专利技术提供了一种基于多传感器融合技术的核桃自动化采摘及收集方法，包括以下步骤：步骤1.1，当启动自动化采摘导引车后，进行导引车路径规划；步骤1.2，远程控制导引车按照一预定规则在园区运动，并收集整个园区的激光数据；步骤1.3，建立二维离线地图；步骤1.4，在上述地图上标注采摘道路；步骤2.1，执行系统初始化；步骤2.2，获得待采集队列；步骤2.3，自动化采摘系统确定并发送采摘任务：步骤2.4，机器人依次到达采摘目标点；步骤2.5，完成核桃抖动掉落作业；步骤2.6，进行抖落核桃的收集。本发明专利技术所提供的方法能够获取高精度果实坐标，精准高效地完成自主采摘。效地完成自主采摘。效地完成自主采摘。

【技术实现步骤摘要】
一种基于多传感器融合技术的核桃自动化采摘及收集方法


[0001]本专利技术涉及农业自动化采摘
，尤其涉及一种基于多传感器融合技术、机器人导航定位技术的核桃自动化采摘及收集方法。

技术介绍

[0002]农业自动化作业是当下智慧农业的发展趋势，现有已存在多种农业自动化采摘的解决方案。例如：
[0003]专利申请CN201810413367.4提出了一种果实自动采摘方法及机器人，包括如下步骤：S1获取待采摘果实的图像，并反馈至智能控制系统；S2智能控制系统处理所述图像，并判断果实是否成熟，若是，则进行S3，若否，则重复S1；S3、智能控制系统对已经成熟的果实进行定位，并向采摘机器人发送采摘指令；S4、智能控制系统控制采摘机器人对已经成熟的果实进行采摘。
[0004]专利申请CN201910478830.8提出了一种基于无人机的山核桃采摘和收集装置及方法，包括采摘无人机装置、识别定位系统、固定装置、采摘装置、收集装置、控制中心。识别定位系统位于采摘无人机上方，固定装置、采摘装置均位于采摘无人机下方。根据识别定位系统采摘无人机飞行到指定位置，固定装置为两个伸出的自动可伸缩夹爪，用于夹取两个树枝固定机身。采摘装置通过伺服电机实现玻璃纤维杆的偏心变速旋转击打，实现对山核桃树枝的变力、变位置及变角度击打，确保山核桃被击落。收集无人机与收集网连接，击落的山核桃落入到收集网内，且收集无人机内置有压力传感器。
[0005]专利申请CN202010640990.0提出了一种果实模拟采摘、转运智能小车组，由采摘车和转运车构成，采摘车用于果实的识别采摘，转运车用于果实的转运存储，为未来可自动采摘、转运果实的智能农业设备提供了一种可行设计方式。
[0006]然而上述方案均存在着诸多不足：方案一中仅支持单果树作业，整体采摘运行效率低、仅依靠图像传感器，采集精度不高易对果树造成损伤；方案二的缺点除了单果树采集效率低外，对于隐藏在内部的果实通过图像难以准确定位与识别；方案三基于预设黑色导引线进行导引车定位，不仅前期改造成本高，同时也面临着后期维护的风险。
[0007]因此，如何克服2D图像果实定位精度较差的不足，实现更智能、高效率的自动化采摘是亟需解决的一大难题。

技术实现思路

[0008]本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于多传感器融合技术的核桃自动化采摘及收集方法。
[0009]为实现上述目的，本专利技术提供的技术方案如下：
[0010]本专利技术提供了一种基于多传感器融合技术的核桃自动化采摘及收集方法，所述方法包括以下步骤：
[0011]步骤1.1，当启动自动化采摘导引车后，进行导引车路径规划；
[0012]步骤1.2，远程控制导引车按照一预定规则在园区运动，并通过车载2D激光传感器收集整个园区的激光数据；
[0013]步骤1.3，使用SLAM的建图模块，建立二维离线地图；
[0014]步骤1.4，根据园区实际情况，在上述地图上标注采摘道路；
[0015]步骤2.1，执行系统初始化：在采摘机器人上电后，初始化机器人自动化采摘系统，启动传感器、加载离线建立的地图和采摘道路点；
[0016]步骤2.2，执行核桃成熟的预测与目标果树定位，并获得待采集队列：根据核桃成熟周期，设置机器人巡逻周期；每个巡逻周期内，通过采摘机器人上的图像传感器结合图像识别技术，检测并预测每个果树的成熟度情况，其中成熟度＝成熟的核桃数量/检测到核桃的数量；将每个果树的成熟度结果反馈到用户交互层面，经过用户对成熟度进行二次确认，将经过确认的相应果树的坐标加入待采集队列中；
[0017]步骤2.3，自动化采摘系统确定并发送采摘任务：根据步骤2.2得到的待采集队列，当队列中采摘点数量满足预设数量N，将待采集队列的坐标发送到采摘机器人，采摘机器人根据坐标按照预定规则确定执行采摘的相应顺序；
[0018]步骤2.4，机器人依次到达采摘目标点：以机器人当前点为起点，第一个采摘点为终点，规划一条机器人路径并发送给机器人执行，机器人运动过程中，通过激光传感器与离线地图数据进行匹配，以一定频率更新机器人坐标，指导机器人运行至机器人坐标与第一个采摘目标点欧式距离满足阈值；
[0019]步骤2.5，机器人定位树干坐标并启动树干夹具：通过2D图像传感器识别视野内树干，结合3D深度传感器获取图像传感器中对应树干的深度信息，选择最近的树干作为待夹取目标树干；在确定了目标树干后将目标树干的三维位姿发送给夹取控制模块，控制树干夹具夹取树干，以一定频率抖动树干夹具，完成核桃抖动掉落作业；
[0020]步骤2.6，利用地面掉落核桃定位模块进行抖落核桃的收集：通过2D图像传感器采集核桃掉落后的地面图像数据，使用图像识别算法检测核桃位置；通过传感器标定技术，结合3D传感器获取每个核桃的3D坐标，而后控制核桃夹具夹取每个核桃并放入核桃收集箱中；
[0021]其中，图像识别算法和传感器标定技术具体包括以下流程：
[0022]step1：收集一定数量的核桃图像样本，对图像中的核桃进行人工标注；
[0023]step2：基于标注数据训练离线图像分割网络模型；
[0024]step3：使用标定板分别采集2D和3D相机下的标定板对应坐标数据，通过奇异值分解计算基于当前数据的最优2D和3D相机外参；
[0025]step3：软件控制2D相机拍照并加载离线图像分割网络模型；
[0026]step4：调用分割网络模型预测核桃2D包围框；
[0027]step5：将2D包围框中心点像素坐标{X_2d,Y_2d}，通过下列公式转换到3D相机坐标系；
[0028][0029]其中p表示像素坐标系，c表示相机坐标系，M1表示2D相机和3D相机的内参，M2表示2D相机和3D相机外参；～表示3D相机像素坐标和相机坐标关系，为已知量；
[0030]step6：将所有2D坐标核桃中心点转换到3D坐标系下，由于核桃体积大小无显著变化，设置基于3D坐标的搜索距离D；基于每个3D核桃总标点，搜索距离D内的所有3D坐标，得到每个核桃3D坐标集合Ki，其中i表示第i个核桃。计算每个集合的3D坐标法向量；结合核桃3D坐标、法向量、夹具长度，筛选可抓核桃并设置抓取优先级队列；
[0031]step7：根据优先级队列分别控制夹具夹取核桃并放入核桃搜集箱；
[0032]步骤2.7，依次巡逻所有采摘点，直到完成所有采摘点核桃的采摘作业：当前采摘目标点采摘完成后，判断是否完成所有采摘点的采摘作业；若没有，则在队列中删除当前采摘目标点、将下一个采摘点更新为待采集队列的第一个采摘点，循环执行步骤2.4到步骤2.7，直至待采集队列中的果树采集完毕；
[0033]步骤2.8，当完成所有采摘作业后，机器人回到果实收集点回收所有核桃；回收完成后机器人返回充电桩进行充电直到下一次巡逻周期或采摘指令。
[0034]进一步的，步骤1.1中路径规划遵循路本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器融合技术的核桃自动化采摘及收集方法，其特征在于，所述方法包括以下步骤：步骤1.1，当启动自动化采摘导引车后，进行导引车路径规划；步骤1.2，远程控制导引车按照一预定规则在园区运动，并通过车载2D激光传感器收集整个园区的激光数据；步骤1.3，使用SLAM的建图模块，建立二维离线地图；步骤1.4，根据园区实际情况，在上述地图上标注采摘道路；步骤2.1，执行系统初始化：在采摘机器人上电后，初始化机器人自动化采摘系统，启动传感器、加载离线建立的地图和采摘道路点；步骤2.2，执行核桃成熟的预测与目标果树定位，并获得待采集队列；步骤2.3，自动化采摘系统确定并发送采摘任务：根据步骤2.2得到的待采集队列，当队列中采摘点数量满足预设数量N，将待采集队列的坐标发送到采摘机器人，采摘机器人根据坐标按照预定规则确定执行采摘的相应顺序；步骤2.4，机器人依次到达采摘目标点：以机器人当前点为起点，第一个采摘点为终点，规划一条机器人路径并发送给机器人执行，机器人运动过程中，通过激光传感器与离线地图数据进行匹配，以一定频率更新机器人坐标，指导机器人运行至机器人坐标与第一个采摘目标点欧式距离满足阈值；步骤2.5，机器人定位树干坐标并启动树干夹具：通过2D图像传感器识别视野内树干，结合3D深度传感器获取图像传感器中对应树干的深度信息，选择最近的树干作为待夹取目标树干；在确定了目标树干后将目标树干的三维位姿发送给夹取控制模块，控制树干夹具夹取树干，以一定频率抖动树干夹具，完成核桃抖动掉落作业；步骤2.6，利用地面掉落核桃定位模块进行抖落核桃的收集：通过2D图像传感器采集核桃掉落后的地面图像数据，使用图像识别算法检测核桃位置；通过传感器标定技术，结合3D传感器获取每个核桃的3D坐标，而后控制核桃夹具夹取每个核桃并放入核桃收集箱中；步骤2.7，依次巡逻所有采摘点，直到完成所有采摘点核桃的采摘作业：当前采摘目标点采摘完成后，判断是否完成所有采摘点的采摘作业；若没有，则在队列中删除当前采摘目标点、将下一个采摘点更新为待采集队列...

【专利技术属性】
技术研发人员：傅松玲，王兆成，刘毅，马玉华，黄铖，周梦钰，
申请(专利权)人：安徽农业大学，
类型：发明
国别省市：