【技术实现步骤摘要】
本专利技术涉及人机交互，具体涉及基于改进的yolo-v8手势识别移动机器人控制平台搭建方法。
技术介绍
1、基于目标检测神经网络模型的手势识别移动机器人控制平台，根据手势识别结果控制机器人移动，并将手势识别结果与移动机器人运动状态在人机交互界面上展示。对应上述流程，手势识别移动机器人控制平台涉及的技术包括：基于深度学习的目标检测技术、移动机器人控制和人机交互界面系统集成。
2、基于深度学习的目标检测技术可以在图像中定位物体并识别出物体的具体类别。主流的基于深度学习的目标检测技术可以分为两类，分别是基于区域建议的目标检测技术和基于边框回归的目标检测技术。其中基于区域建议的目标检测技术又称为两阶段的目标检测技术，此类目标检测技术有r-cnn、spp-net等，该技术准确性较高，但实时性较差，难以满足实时性要求较高的使用场景。基于边框回归的目标检测技术又称为单阶段的目标检测技术，此类目标检测技术有yolo、ssd等，该技术准确性较低，但实时性好，可以满足对实时性要求较高的使用场景。目标检测神经网络模型常用数据集有imagenet、coco、pascalvoc、hagrid、hand posture and gesture等，其中hafrid和hand posture and gesture为常用手势识别数据集。
3、机器人操作系统(robotics operation system，ros)广泛应用于移动机器人、机械臂、复合机器人的控制。ros是一个面向机器人的开源操作系统。ros能够提供与传统操作系统类似的功
4、现有的人机交互界面设计与实现技术十分多样化，多数语言都有其对应的图形用户界面应用程序开发框架，其中qt是c++的图形用户界面应用程序开发框架，可以用于开发人机交互界面。大部分的机器人控制平台人机交互界面采用qt来进行开发，因为ros支持c++编写，可以十分便捷的与qt进行集成。同时，qt还拥有跨平台、支持嵌入式开发等优秀特性。对于人机交互界面的设计与实现需满足以下2点要求：(1)确保人机交互界面的易用性，用户不需要查阅帮助文档就可以知道界面的功能并进行正确操作；(2)考虑界面的美观性和协调性，界面符合大众审美，能够让用户感到协调舒适。
技术实现思路
1、本专利技术的目的在于，提出基于改进的yolo-v8手势识别移动机器人控制平台搭建方法，该方法能够兼顾准确性与实时性，可实现无接触的人机交互，提高控制系统的安全性。
2、为实现上述目的，本申请提出的基于改进的yolo-v8手势识别移动机器人控制平台搭建方法，包括：
3、使用迁移学习方法，将网络模型在公开的手势数据集hagrid微调后，迁移到手势识别任务上；
4、所述网络模型将yolo-v8作为目标检测主干网络，改进卷积层，使用空洞卷积和分组卷积，提高识别准确性与实时性；
5、通过机器人操作系统ros，关联手势识别结果与控制指令，实现机器人的移动；
6、在上位机交互界面显示识别结果、底盘状态、控制信息；
7、设计人工控制与手势识别控制优先级，确保可随时人工接管控制移动底盘。
8、进一步地，网络模型通过coco数据集预训练，在公开的手势识别数据集hagrid微调后获得m规格的yolo-v8目标检测主干网络，将该网络迁移到手势识别任务上。
9、进一步地，yolo-v8目标检测主干网络进行手势识别的方式为：
10、使用opencv调用openpose检测手势关键点；
11、将识别出的关键点与原始图像结合，融入yolo-v8目标检测主干网络；
12、将yolo-v8目标检测主干网络的原有卷积层替换为空洞卷积并进行分组；
13、设计多目标的损失函数，训练改进的yolo-v8目标检测主干网络。
14、进一步地，所述损失函数为：
15、
16、其中n为检测个数，b是标签分配到先验框的目标个数，s×s是图像被分成的网格数，lciou是边界框损失，lobj为置信度损失，lcls为分类损失，λ1、λ2、λ3为各类损失的权重。
17、进一步地，边界框损失如下：
18、
19、其中b、bgt分别为边界框的预测值和真实值，wgt、hgt、w、h分别为边界框宽高的真实值和预测值，ρ代表两个边界框中心点的距离，α为权重系数；
20、置信度损失和分类损失如下：
21、
22、在更新网络参数时，采用随机梯度下降法，该方法更新权重的方式如下：
23、w*＝w-lr*gradient
24、其中w为权重，lr为学习率，gradient为梯度。
25、更进一步地，通过机器人操作系统ros，关联手势识别结果与控制指令，具体为：
26、监听手势识别结果，将手势识别结果转换成对应的ros底盘控制命令；
27、将ros底盘控制命令封装成ros消息格式，控制机器人底盘。
28、更进一步地，手势识别结果转换关系为:
29、机器人操作系统ros话题设置为：/gesture_result时，手势识别结果“ok”对应停止，“1”对应前进，“2”对应左转，“3”对应右转，“5”对应后退；机器人操作系统ros话题设置为/mobile_base/commands/velocity时，转换成机器人底盘的速度信息。
30、更进一步地，在上位机交互界面显示识别结果、底盘状态、控制信息具体包括：
31、使用qt界面设计框架，设计机器人状态显示窗口，手势识别结果显示窗口，视频流推流窗口和人工接管控制窗口；
32、机器人操作系统ros中，通过订阅手势识别模块的输入和输出消息，将视频流信息和手势识别结果集成到交互界面展示；
33、机器人操作系统ros中，通过订阅底盘的消息模块，将机器人的速度信息集成到交互界面展示；
34、机器人操作系统ros中，将控制按键与底盘控制话题绑定，实现实时人工接管。
35、更进一步地，设计人工控制与手势识别控制优先级具体为：
36、任何场景下，人工控制的优先级都高于手势识别结果控制；
37、设定无缝接管机制，机器人操作系统ros中，底盘优先订阅人工控制发布的话题。
38、本专利技术采用的以上技术方案，与现有技术相比，具有的优点是：设计了改进的yolo-v8目标检测主干网络，将该网本文档来自技高网...
【技术保护点】
1.基于改进的Yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，包括：
2.根据权利要求1所述基于改进的Yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，网络模型通过COCO数据集预训练，在公开的手势识别数据集HaGRID微调后获得m规格的Yolo-v8目标检测主干网络，将该网络迁移到手势识别任务上。
3.根据权利要求1所述基于改进的Yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，Yolo-v8目标检测主干网络进行手势识别的方式为：
4.根据权利要求3所述基于改进的Yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，所述损失函数为：
5.根据权利要求4所述基于改进的Yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，边界框损失如下：
6.根据权利要求1所述基于改进的Yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，通过机器人操作系统ROS，关联手势识别结果与控制指令，具体为：
7.根据权利要求6所述基于改进的Yolo-v8手势识别移动机器人
8.根据权利要求1所述基于改进的Yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，在上位机交互界面显示识别结果、底盘状态、控制信息具体包括：
9.根据权利要求1所述基于改进的Yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，设计人工控制与手势识别控制优先级具体为：
...【技术特征摘要】
1.基于改进的yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，包括：
2.根据权利要求1所述基于改进的yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，网络模型通过coco数据集预训练，在公开的手势识别数据集hagrid微调后获得m规格的yolo-v8目标检测主干网络，将该网络迁移到手势识别任务上。
3.根据权利要求1所述基于改进的yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，yolo-v8目标检测主干网络进行手势识别的方式为：
4.根据权利要求3所述基于改进的yolo-v8手势识别移动机器人控制平台搭建方法，其特征在于，所述损失函数为：
5.根据权利要求4所述基于改进的yolo-v8...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。