一种基于智能识别的吸虫机械臂仪器及其使用方法技术

本发明专利技术公开了一种基于智能识别的吸虫机械臂仪器及其使用方法，属于吸虫仪器技术领域，包括RGB摄像头、吸虫器、夹指、伸缩臂、中间控制系统、捕虫储存室、吸风泵机、固定臂、吸虫管、RGBD摄像头、移动臂、第一轴承以及第二轴承。本发明专利技术解决了的吸虫机吸虫效果不理想、吸虫机不够灵活、需人工操作以及目标检测计算量大的问题。大的问题。大的问题。

【技术实现步骤摘要】
一种基于智能识别的吸虫机械臂仪器及其使用方法


[0001]本专利技术属于吸虫仪器
，具体涉及一种基于智能识别的吸虫机械臂仪器及其使用方法。

技术介绍

[0002]农作物的害虫防治方法包括化学、生物和物理方法等。其中化学方法存在污染环境和杀伤天敌等副作用；生物方法存在局限性较大等问题；物理方法具有简单易行、不会污染环境和适用范围广泛等优点。吸虫机是一种无污染的物理除虫方法。
[0003]但是目前吸虫机存在的一些缺点：吸虫效果不理想、吸虫机不够灵活、需人工操作以及目标检测计算量大等缺点。目前对吸虫机与智能机械臂及对应的目标检测算法进行了大量研究，提出了很多方法。

技术实现思路

[0004]本专利技术提供了一种基于智能识别的吸虫机械臂仪器及其使用方法，解决了的吸虫机吸虫效果不理想、吸虫机不够灵活、需人工操作以及目标检测计算量大的问题。
[0005]为了解决上述技术问题，本专利技术的技术方案为：一种基于智能识别的吸虫机械臂仪器，包括RGB摄像头、吸虫器、夹指、伸缩臂、中间控制系统、捕虫储存室、吸风泵机、固定臂、吸虫管、RGBD摄像头、移动臂、第一轴承以及第二轴承；
[0006]所述RGB摄像头固定于伸缩臂的上壁；所述吸虫器与夹指分别与伸缩臂的一端连接；所述吸虫器与吸虫管的一端连接；所述吸虫管的另一端与吸风泵机的上壁连接；所述吸风泵机的一端与捕虫储存室的上壁连接；所述吸风泵机的底座固定于中间控制系统的一侧上壁；所述捕虫储存室固定于中间控制系统的上壁中间位置；所述固定臂的一端固定于中间控制系统的另一侧上壁；所述固定臂的另一端与RGBD摄像头连接；所述伸缩臂的另一端与第二轴承连接；所述第一轴承与移动臂的一端连接；所述移动臂的另一端与固定臂连接。
[0007]本专利技术的有益效果是：本专利技术将吸虫机结合智能机械设计一种基于智能识别的吸虫机械臂仪器，基于现有技术的机械臂仪器，添加了摄像头来实时检测吸虫目标，通过摄像头对目标对象进行识别，使之更适用于现实场景，实现自动调整吸虫角度和风量、可搭载在农业车辆或无人机上进行大面积除虫的智能识别吸虫机械臂，可以显著提高吸虫效果，解决了的吸虫机吸虫效果不理想、吸虫机不够灵活、需人工操作以及目标检测计算量大的问题。
[0008]本专利技术还提供了一种基于智能识别的吸虫机械臂仪器的使用方法，包括以下步骤：
[0009]S1、启动中间控制系统，通过中间控制系统中的中间控制器发送数据收集指令，通过RGBD摄像头获取视频流数据，并通过视频流数据得到图片的帧信息以及深度信息；
[0010]S2、根据图片的帧信息以及深度信息，通过中间控制器中设置的改进的轻量化YOLOv8n模型进行红蜘蛛智能目标检测，并判断是否检测到红蜘蛛目标，若是，则发送红蜘
蛛目标的坐标信息以及深度信息至中间控制器，进入步骤S3，否则，发送结束信号至中间控制器，返回步骤S1；
[0011]S3、根据中间控制器接收的红蜘蛛目标的位置信息，向吸虫机械臂发送吸虫指令，将移动臂在固定臂上移动，调节伸缩臂到指定高度，并通过RGB摄像头、第一轴承以及第二轴承将伸缩臂调节到指定位置；
[0012]S4、根据中间控制器接收的红蜘蛛目标的深度信息，通过伸缩臂将吸虫器伸缩至距红蜘蛛目标的一定位置，并通过夹指夹紧红蜘蛛目标所在位置的树叶或树梢；
[0013]S5、将吸虫器对准红蜘蛛目标，启动吸风泵机进行吸虫，并将红蜘蛛目标通过吸虫管吸至捕虫储存室中；
[0014]S6、经过预设的一个任务时钟周期，通过RGB摄像头判断红蜘蛛目标是否吸干净，若是，则向中间控制器发送结束信号，返回步骤S1，否则，返回步骤S5。
[0015]本专利技术的有益效果是：本专利技术通过RGBD相机中得到视频流数据，通过改进的轻量化YOLOv8n模型实时识别红蜘蛛目标的位置，然后通过机械臂可以实时调整吸虫机的角度，根据识别到红蜘蛛目标的位置实时调整吸虫机风量，以实现智能化、自动化的智能识别吸虫机械臂，同时该吸虫装置可以装载在农业车辆或无人机上进行大面积除虫，有较好的吸虫效果，并且不需要人工操作。
[0016]进一步地，所述步骤S2的具体步骤为：
[0017]S21、构建改进的轻量化YOLOv8n模型，并保存至中间控制器中；
[0018]S22、根据图片的帧信息以及深度信息，利用改进的轻量化YOLOv8n模型输出预测描框；
[0019]S23、根据预测描框判断是否检测到红蜘蛛目标，若是，则发送红蜘蛛目标的坐标信息以及深度信息至中间控制器，进入步骤S3，否则，发送结束信号至中间控制器，返回步骤S1。
[0020]进一步地，所述步骤S21的具体步骤为：
[0021]A1、拍摄果树树叶和树杈上的红蜘蛛图片，得到带有帧信息以及深度信息的红蜘蛛数据集；
[0022]A2、将带有帧信息以及深度信息的红蜘蛛数据集进行预处理；
[0023]A3、将预处理后的红蜘蛛数据集划分为红蜘蛛训练集、红蜘蛛测试集以及红蜘蛛验证集；
[0024]A4、建立改进的轻量化YOLOv8n模型，并使用迁移学习，将红蜘蛛训练集输入至改进的轻量化YOLOv8n模型中进行训练；
[0025]A5、通过红蜘蛛测试集以及红蜘蛛验证集对完成训练的改进的轻量化YOLOv8n模型进行验证，并保存改进的轻量化YOLOv8n模型的权重参数至中间控制器中。
[0026]进一步地，所述步骤A4中改进的轻量化YOLOv8n模型的分类损失函数Loss
VEL
为：
[0027][0028]其中，q表示目标分数，p表示预测值，a表示超参数，log表示取对数。
[0029]进一步地，所述步骤A4中改进的轻量化YOLOv8n模型的回归损失函数Loss
H
为：
[0030]Loss
H
＝Loss
CIoU
+Loss
DFL
[0031][0032][0033][0034]Loss
DFL
＝
‑
(y
i+1
‑
y)log(s
i
)+(y
‑
y
i
)log(s
i+1
)
[0035]其中，IoU表示真实锚框与预测锚框的交并比值，表示同时包含预测描框和真实描框的最小闭包区域的对角线距离，表示预测描框与真实描框的中心点欧式距离，α和v均表示中间参数，w表示真实锚框的宽，h表示真实锚框的高，w'表示预测锚框的宽，h'表示预测锚框的高，s
i
和s
i+1
分别表示模型中激活函数sigmod第i时刻和第i+1时刻的输出，y表示标签值，y
i
和y
i+1
分别表示第i时刻和第i+1时刻的区间顺序，arctan表示反正切函数。
[0036]上述进一步方案的有益效果为：对原始YOLOv8n模型进行改进，在精确率保持不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能识别的吸虫机械臂仪器，其特征在于，包括RGB摄像头(1)、吸虫器(2)、夹指(3)、伸缩臂(4)、中间控制系统(5)、捕虫储存室(6)、吸风泵机(7)、固定臂(8)、吸虫管(9)、RGBD摄像头(10)、移动臂(11)、第一轴承(12)以及第二轴承(13)；所述RGB摄像头(1)固定于伸缩臂(4)的上壁；所述吸虫器(2)与夹指(3)分别与伸缩臂(4)的一端连接；所述吸虫器(2)与吸虫管(9)的一端连接；所述吸虫管(9)的另一端与吸风泵机(7)的上壁连接；所述吸风泵机(7)的一端与捕虫储存室(6)的上壁连接；所述吸风泵机(7)的底座固定于中间控制系统(5)的一侧上壁；所述捕虫储存室(6)固定于中间控制系统(5)的上壁中间位置；所述固定臂(8)的一端固定于中间控制系统(5)的另一侧上壁；所述固定臂(8)的另一端与RGBD摄像头(10)连接；所述伸缩臂(4)的另一端与第二轴承(13)连接；所述第一轴承(12)与移动臂(11)的一端连接；所述移动臂(11)的另一端与固定臂(8)连接。2.一种基于智能识别的吸虫机械臂仪器的使用方法，其特征在于，包括以下步骤：S1、启动中间控制系统(5)，通过中间控制系统(5)中的中间控制器发送数据收集指令，通过RGBD摄像头(10)获取视频流数据，并通过视频流数据得到图片的帧信息以及深度信息；S2、根据图片的帧信息以及深度信息，通过中间控制器中设置的改进的轻量化YOLOv8n模型进行红蜘蛛智能目标检测，并判断是否检测到红蜘蛛目标，若是，则发送红蜘蛛目标的坐标信息以及深度信息至中间控制器，进入步骤S3，否则，发送结束信号至中间控制器，返回步骤S1；S3、根据中间控制器接收的红蜘蛛目标的位置信息，向吸虫机械臂发送吸虫指令，将移动臂(11)在固定臂(8)上移动，调节伸缩臂(4)到指定高度，并通过RGB摄像头(1)、第一轴承(12)以及第二轴承(13)将伸缩臂(4)调节到指定位置；S4、根据中间控制器接收的红蜘蛛目标的深度信息，通过伸缩臂(4)将吸虫器(2)伸缩至距红蜘蛛目标的一定位置，并通过夹指(3)夹紧红蜘蛛目标所在位置的树叶或树梢；S5、将吸虫器(2)对准红蜘蛛目标，启动吸风泵机(7)进行吸虫，并将红蜘蛛目标通过吸虫管(9)吸至捕虫储存室(6)中；S6、经过预设的一个任务时钟周期，通过RGB摄像头(1)判断红蜘蛛目标是否吸干净，若是，则向中间控制器发送结束信号，返回步骤S1，否则，返回步骤S5。3.根据权利要求2所述的基于智能识别的吸虫机械臂仪器的使用方法，其特征在于，所述步骤S2的具体步骤为：S21、构建改进的轻量化YOLOv8n模型，并保存至中间控制器中；S22、根据图片的帧信息以及深度信息，利用改进的轻量化YOLOv8n模型输出预测描框；S23、根据预测描框判断是否检测到红蜘蛛目标，若是，则发送红蜘蛛目标的坐标信息以及深度信息至中间控制器，进入步骤S3，否则，发送结束信号至中间控制器，返回步骤S1。4.根据权利要求3所述的基于智能识别的吸虫机械臂仪器的使用方法，其特征在于，所述步骤S21的具体步骤为：A1、拍摄果树树叶和树杈上的红蜘蛛图片，得到带有帧信息以及深度信息的红蜘蛛数据集；A2、将带有帧信息以及深度信息的红蜘蛛数据集进行预处理；A3、将预处理后的红蜘蛛数据集划分为红蜘蛛训练集、红蜘蛛测试集以及红蜘蛛验证
集；A4、建立改进的轻量化YOLOv8n模型，并使用迁移学习，将红蜘蛛训练集输入至改进的轻量化YOLOv8n模型中进行训练；A5、通过红蜘蛛测试集以及红蜘蛛验证集对完成训练的改进的轻量化YOLOv8n模型进行验证，并保存改进的轻量化YOLOv8n模型的权重参数至中间控制器中。5.根据权利要求4所述的基于智能识别的吸虫机械臂仪器的使用方法，其特征在于，所述步骤A4中改进的轻量化YOLOv8n模型的分类损失函数Loss
VEL
为：其中，q表示目标分数，p表示预测值，a表示超参数，log表示取对数。6.根据权利要求5所述的基于智能识别的吸虫机械臂仪器的使用方法，其特征在于，所述步骤A4中改进的轻量化YOLOv8n模型的回归损失函数Loss
H
为：Loss
H
＝Loss
CIoU
+Loss
DFLDFLDFL
Loss
DFL
＝
‑
(y
i+1
‑
y)log(s
i
)+(y
‑
y
i
)log(s
i+1
)其中，IoU表示真实锚框与预测锚框的交并比值，表示同时包含预测描框和真实描框的最小闭包区域的对角线距离，表示预测描框与真实描框的中心点欧式距离，α和v均表示中间参数，w表示真实锚框的宽，h表示真实锚框...

【专利技术属性】
技术研发人员：刘亚佳，林泳达，肖委明，何雄奎，韩虎，王灵晓，
申请(专利权)人：吉安市园艺场，
类型：发明
国别省市：