【技术实现步骤摘要】
本专利技术属于无人机的人机交互，特别涉及一种基于hrnet-w48的无人机姿势识别与交互方法。
技术介绍
1、传统无人机控制方式主要依赖于遥控器或预设的飞行路径，存在以下问题：1，学习成本高：由于传统遥控器的操作方式较为复杂，需要用户花费一定时间和精力进行学习和训练，才能熟练掌握无人机的操控；2，飞行精度有限：传统遥控器操作无人机的精度相对有限，难以实现精细的飞行动作和精确的定位；3，操作门槛高：传统遥控器操作复杂，需要用户具备一定的技术和操作经验，对用户门槛较高；4，预设路径无法满足实时操作需求：传统的无人机控制方式需要预设飞行路径，无法满足实时操作需求；5，操作不直观、不自然：传统遥控器操控无人机需要用户通过按键、摇杆等方式进行操作，不够直观、自然；因此，需要提出一种基于hrnet-w48的无人机姿势识别与交互方法来解决上述问题。
技术实现思路
1、本专利技术所要解决的技术问题是提供一种基于hrnet-w48的无人机姿势识别与交互方法，该方法基于hrnet-w48的姿态检测技术，可以提供一种更直观、自然的无人机控制方式，使普通用户能够通过简单的姿势动作来控制无人机的飞行，从而降低无人机操作的门槛，提高用户的使用体验，并且扩大无人机的应用范围。
2、为实现上述技术效果，本专利技术所采用的技术方案是：
3、一种基于hrnet-w48的无人机姿势识别与交互方法，包括以下步骤：
4、s1，构建人体跟踪模型：
5、通过yolov5s目标检测
6、s2，构建动作识别模型：
7、以hrnet-w48人体姿态估计算法和st-gcn时空图卷积神经网络构建动作识别模型；hrnet-w48通过多分支的网络结构，同时提取不同分辨率的特征图，通过融合模块将这些特征图进行融合，获得更全面的姿态信息；动作识别模型利用人体骨架的姿态与时序信息表征人体行为；
8、s3，将人体跟踪模型和动作识别模型组成视频行为识别模型，对工作人员进行实时监测；
9、s4，姿态估计和优化：
10、通过使用优化算法或者使用统计模型来对姿态关键点的位置进行优化和估计；
11、s5，模型性能优化和更新。
12、优选地，步骤s1中，人体跟踪模型的训练包括：
13、s101，采集控制作业时的样本图片，通过生成对抗网络，生成具有不同视角和角度的合成数据样本，合成样本可以模拟真实场景中的不同视角用于扩充训练数据，解决视角偏差对行为识别的影响；
14、s102，使用labelimg标注工具标注样本图片中的作业人员并逐一标记，样本数量和作业环境可以适当多取，以提高网络识别准确率，标记完成后使用上述图片对yolov5s网络进行训练；人体跟踪模型包括人体区域检测模块、姿态检测模块和匹配控制模块，人体区域检测模块检测人体区域位置，姿态检测模块进行关键点特征提取，得到每一帧的骨架数据，匹配控制模块抽取完整动作所在帧。
15、进一步地，tld算法具有鲁棒性和自适应学习能力，能够在复杂场景下保持跟踪的准确性和鲁棒性，它还具有实时性和检测能力，能够进行目标检测和跟踪的结合。
16、优选地，步骤s2中构建动作识别模型包括：
17、采集操作人员在完成动作控制时候的视频，使用视频剪辑工具截取从一个控制动作开始到结束的视频片段作为视频行为识别模型的训练集对st-gcn网络进行训练。
18、优选地，步骤s3中，通过外接摄像头作为图像采集装置，采集实时的视频帧信息。
19、优选地，步骤s3中，对工作人员进行实时监测的方法如下：
20、s301，通过图像采集装置采集到图片，通过人体跟踪模型中的人体区域检测模块检测出人体区域位置，若包含人体，则通过姿态检测模块对其进行关键点特征提取，得到每一帧的骨架数据；
21、s302，将步骤s301的骨架数据输入匹配控制模块，将完整动作所在帧抽取出来，并将这一阶段得到的骨架帧作为动作识别模块的输入，预测出当前指令动作，最后将指令实时反馈给无人机；
22、s303，系统继续保持监视状态，持续识别下一个动作指令。
23、优选地，步骤s302中，每一个指令动作与无人机控制命令之间建立一一对应的映射关系；每一个指令动作持续2~4秒，在结束之后通过手臂下垂状态表示动作结束。
24、优选地，步骤s4中，优化算法包括迭代最近点算法，统计模型包括高斯混合模型。
25、优选地，步骤s5中，模型性能优化和更新包括：
26、s501，数据增强：通过对图像采集装置采集的图片随机裁剪、旋转和缩放扩充样本数据库，对模型进行更新；
27、s502，调整训练策略中的学习率和初始化权重，提高模型性能。
28、本专利技术的有益效果为：
29、1，能够快速姿势识别和实时跟踪与交互：基于hrnet-w48的姿势识别网络能够快速准确地识别无人机的姿势。hrnet-w48网络在设计上充分考虑了高分辨率的特点，通过多层级的特征融合和自顶向下的姿势估计，能够在保持准确性的同时实现较快的速度。该系统还能够实时跟踪无人机的姿势变化。通过结合姿势识别和目标跟踪算法，可以实时追踪无人机的姿势变化，并及时更新姿势信息。该系统支持实时交互功能，可以根据无人机的姿势信息进行实时的交互操作。例如，可以通过手势识别控制无人机的飞行方向、高度等参数，实现人机交互；
30、2，能够实现无接触性控制无人机：人体姿势交互可以实现无接触的操作方式，减少了对物理设备的依赖，提高了操作的灵活性和舒适性。特别是在特殊环境下，如手套操作不方便、需要保持清洁的场景，人体姿势交互可以更好地满足用户的需求；
31、3，能够更自然直观地完成人机交互：人体姿势是人类最基本的交流方式之一，通过人体姿势进行交互更加自然和直观。无需复杂的学习和指令，用户可以通过简单的姿势动作来与机器进行交互，降低了使用门槛和学习成本；
32、4，能够带来一种更可观的创新体验：人体姿势交互为用户带来了全新的交互体验。通过与机器的直接互动，用户可以更加身临其境地参与到操作中，增强了用户的参与感和沉浸感。这种创新的交互方式也为各种应用场景带来了更多可能性。
本文档来自技高网...【技术保护点】
1.一种基于HRNet-W48的无人机姿势识别与交互方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于HRNet-W48的无人机姿势识别与交互方法，其特征在于，步骤S1中，人体跟踪模型的训练包括：
3.根据权利要求1所述的一种基于HRNet-W48的无人机姿势识别与交互方法，其特征在于：步骤S2中构建动作识别模型包括：
4.根据权利要求1所述的一种基于HRNet-W48的无人机姿势识别与交互方法，其特征在于：步骤S3中，通过外接摄像头作为图像采集装置，采集实时的视频帧信息。
5.根据权利要求4所述的一种基于HRNet-W48的无人机姿势识别与交互方法，其特征在于：步骤S3中，对工作人员进行实时监测的方法如下：
6.根据权利要求5所述的一种基于HRNet-W48的无人机姿势识别与交互方法，其特征在于：步骤S302中，每一个指令动作与无人机控制命令之间建立一一对应的映射关系；每一个指令动作持续2~4秒，在结束之后通过手臂下垂状态表示动作结束。
7.根据权利要求1所述的一种基于HRNet-W48的无
8.根据权利要求1所述的一种基于HRNet-W48的无人机姿势识别与交互方法，其特征在于：步骤S5中，模型性能优化和更新包括：
...【技术特征摘要】
1.一种基于hrnet-w48的无人机姿势识别与交互方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于hrnet-w48的无人机姿势识别与交互方法，其特征在于，步骤s1中，人体跟踪模型的训练包括：
3.根据权利要求1所述的一种基于hrnet-w48的无人机姿势识别与交互方法，其特征在于：步骤s2中构建动作识别模型包括：
4.根据权利要求1所述的一种基于hrnet-w48的无人机姿势识别与交互方法，其特征在于：步骤s3中，通过外接摄像头作为图像采集装置，采集实时的视频帧信息。
5.根据权利要求4所述的一种基于hrnet-w48的无人机姿势识别与交互方...
【专利技术属性】
技术研发人员：吴田，赵慧敏，吴晨，谢哲航，唐生燚，聂伟，
申请(专利权)人：三峡大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。