【技术实现步骤摘要】
本专利技术涉及农业设备，尤其是一种用于农作物打顶的机械臂补偿方法。
技术介绍
1、基于棉花打顶的农业场景，通常需要用到棉花打顶设备，现有一种智能化的棉花打顶设备，通过在棉花打顶设备上设置相机，并使相机处于水平，以俯视的视角朝下拍摄农作物，棉花打顶设备上的阵列式机械臂模组也处于水平面，因此，相机与机械臂刀头高度差为已知数据，根据相机所拍摄的图像检测棉花顶芽所在位置结合深度传感器得出顶芽相对相机的三维位置，再经过一定里程后该位置处于机械臂下，使用机械臂对其切割，这样的前提是相机距离顶芽的高度与机械臂相对顶芽的高度一致。
2、但是这样的结构通常使用农用拖拉机拉拽行驶，在行驶过程中难免导致相机高机械臂低或者相机低机械臂高这样的状况，这就导致相机在t时刻检测到的顶芽相对相机的位置，到了t+1时刻顶芽处于机械臂下方时，顶芽相对机械臂刀头就是未知的高度差。
技术实现思路
1、本专利技术为了解决上述存在的技术问题，提供一种用于农作物打顶的机械臂补偿方法，以通过相机对农作物顶芽的多帧检测结果的关联匹配，计算出相机相对水平的俯仰角，从而补偿机械臂切割位置的距离。
2、本专利技术的技术方案是这样实现的：
3、一种用于农作物打顶的机械臂补偿方法，包括以下步骤：
4、s1、利用棉花打顶设备上设置的彩色相机与深度相机俯视视角朝下拍摄棉花顶部，同时棉花打顶设备移动，在多个棉花顶部经过；
5、s2、使用基于深度学习的关键点检测算法yolo-pose，在彩
6、s3、利用该位置t和事先标定好的彩色图与深度图的位置变换关系，找到彩色图的t位置在深度图对应的深度d，基于事先标定的彩色相机内参，取内参矩阵的逆乘以t坐标再乘以深度d得到顶芽在相机坐标系的位置tc；
7、s4、使用跟踪方法sort将多帧之间同一棉花顶芽关联起来用同一id表示；
8、s5、使用arttan((z1-z2)/(y1-y2))计算出相机相对水平面的俯仰角，同一棉花顶芽在多帧间得到了不同的坐标，坐标是相机坐标系下，xy是水平面，z是顶芽到相机的竖直距离，其中z1表示某一帧棉花顶芽z坐标，z2表示同一顶芽另一帧的z坐标，y1表示某一帧棉花顶芽y坐标，y2表示同一顶芽另一帧的y坐标；
9、得到相机相对水平面的θ角，同样也是机械臂模组相对水平面的θ角；
10、s6、获取t时刻相机获取到的t顶芽位置，并设定为点a，获取t时刻开始车架行驶了d距离后，t顶芽所在位置，并设定为点c；
11、s7、根据车架的水平状态，计算出需要补偿水平距离w和竖直距离h；
12、当车架不水平时，需要在预估切割位置b点处水平补偿w距离，高度补偿h距离，通过步骤s5得到了θ，根据三角函数，h＝d*sin(θ)，w＝d-d*cos(θ)；
13、如果车架水平，则会以为t顶芽在b位置。所以需要计算出车架不水平时需要补偿水平距离w和竖直距离h。
14、一种基于上述机械臂补偿方法的农作物打顶设备，包括机架与视觉识别组件，所述视觉识别组件固定安装于机架侧壁位置，所述视觉识别组件用于棉花顶空间位置的识别；
15、所述机架侧壁位置固定连接有用于双目识别摄像头安装承载的安装底，所述安装底座的顶端固定连接有集线座，所述集线座用于双目识别摄像头上线缆的整理及防护。
16、一种存储介质，包括总控机，其上设计有计算机程序，其特征在于：其上存储有计算机程序指令，当计算机程序指令被执行时实现上述用于农作物打顶的机械臂补偿方法。
17、本专利技术相比现有技术而言，具有以下有益效果：
18、本专利技术通过相机对农作物顶芽的多帧检测结果的关联匹配，计算出相机相对水平的俯仰角，从而补偿机械臂切割位置的距离；具体体现在以下几点：
19、1、通过设置相机在棉花打顶设备上，结合深度传感器，利用基于深度学习的关键点检测算法，可以实时检测棉花顶芽的位置，得出顶芽相对相机的三维位置，并使用跟踪方法将多帧中的同一顶芽关联起来，实现对顶芽位置的实时跟踪；
20、2、通过计算相机相对水平面的俯仰角，结合三角函数的计算，推导出水平和垂直的补偿距离，以解决在行驶过程中相机与机械臂刀头高度差带来的未知高度问题，可以根据相机检测到的顶芽位置，结合补偿计算，准确地确定顶芽在机械臂刀头位置的高度，确保切割操作的准确性；
21、3、通过将相机与机械臂刀头高度差作为已知数据，并结合实时定位、跟踪和补偿处理，可以实现自动化的切割操作，即使在行驶过程中相机和机械臂出现高度差的情况，也能通过补偿措施确保切割操作的精准性和稳定性。
本文档来自技高网...【技术保护点】
1.一种用于农作物打顶的机械臂补偿方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述S2使用基于深度学习的关键点检测算法yolo-pose，在彩色图像上检测顶芽，在拍摄的图像中得到棉花顶芽所在位置点数据，即顶芽在彩色图像的位置T。
3.根据权利要求1所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述S3利用该位置T和事先标定好的彩色图与深度图的位置变换关系，找到彩色图的T位置在深度图对应的深度D，基于事先标定的彩色相机内参，取内参矩阵的逆乘以T坐标再乘以深度D得到顶芽在相机坐标系的位置Tc。
4.根据权利要求1所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述S5使用arttan((z1-z2)/(y1-y2))计算出相机相对水平面的俯仰角；得到相机相对水平面的θ角，同样也是机械臂模组相对水平面的θ角；
5.根据权利要求3所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述S3中事先标定好的彩色图与深度图的位置变换关系通过相机标定的方法来实现，相机标定
6.根据权利要求1所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述S4使用跟踪方法SORT将多帧之间同一棉花顶芽关联起来用同一ID表示的具体过程如下：
7.根据权利要求1所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述S7根据车架的水平状态，计算出需要补偿水平距离w和竖直距离h；
8.根据权利要求6所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述S4中引入卡尔曼滤波器预测目标的轨迹，具体为为：
9.一种基于权利要求1-8任一所述机械臂补偿方法的农作物打顶设备，其特征在于：包括机架(100)与视觉识别组件(500)，所述视觉识别组件(500)固定安装于机架(100)侧壁位置，所述视觉识别组件(500)用于棉花顶空间位置的识别；
10.一种存储介质，其特征在于：包括总控机，其上设计有计算机程序，其特征在于：其上存储有计算机程序指令，当计算机程序指令被执行时实现权利要求1-8任一所述的一种用于农作物打顶的机械臂补偿方法。
...【技术特征摘要】
1.一种用于农作物打顶的机械臂补偿方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述s2使用基于深度学习的关键点检测算法yolo-pose，在彩色图像上检测顶芽，在拍摄的图像中得到棉花顶芽所在位置点数据，即顶芽在彩色图像的位置t。
3.根据权利要求1所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述s3利用该位置t和事先标定好的彩色图与深度图的位置变换关系，找到彩色图的t位置在深度图对应的深度d，基于事先标定的彩色相机内参，取内参矩阵的逆乘以t坐标再乘以深度d得到顶芽在相机坐标系的位置tc。
4.根据权利要求1所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述s5使用arttan((z1-z2)/(y1-y2))计算出相机相对水平面的俯仰角；得到相机相对水平面的θ角，同样也是机械臂模组相对水平面的θ角；
5.根据权利要求3所述的一种用于农作物打顶的机械臂补偿方法，其特征在于：所述s3中事先标定好的彩色图与深度图的位置变换关系通过相机标定的方法来实现，相机标定是确定相机内参和外参的过程，以便将彩色图...
【专利技术属性】
技术研发人员：张上鑫，韦瑞新，吴帆，莫哲，臧广义，
申请(专利权)人：深圳市纬尔科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。