基于深度学习的人体手势识别人机交互方法及系统技术方案

本发明专利技术属于人体手势识别技术领域，具体涉及基于深度学习的人体手势识别人机交互方法及系统。包括如下步骤：S1，手势数据采集；S2，数据的标注；S3，数据的预处理；S4，确定关节坐标；S5，模型训练：将数据集分成训练集、验证集和测试集；训练集用于训练改进后的YOLOv5s神经网络模型；验证集则用于调整所述YOLOv5s神经网络模型参数；测试集用于选出最优参数的YOLOv5s神经网络模型；S6，模型部署；S7，人体手势识别；S8，人机交互。本发明专利技术具有方便维修技师实时上传保养状态信息，提高维修的工作效率，实现保养工作标准化、透明化，提升服务流转的质量与效率的特点。质量与效率的特点。质量与效率的特点。

【技术实现步骤摘要】
基于深度学习的人体手势识别人机交互方法及系统


[0001]本专利技术属于人体手势识别
，具体涉及基于深度学习的人体手势识别人机交互方法及系统。

技术介绍

[0002]透明车间是一种在汽车保养过程中维修技师通过人机交互实时上传各种汽车保养状态与信息，方便车主实时监督车辆服务情况，实现保养工作标准化、透明化，提升服务流转的质量与效率的汽车保养模式。在透明车间维修技师要进行大量的人机交互，现有人机交互方式存在，在维修过程中需要佩戴手套无法直接触摸人机交互屏，手中布满油污需要洗净双手后才能触摸人机交互屏，不能实时将人机交互屏携带在身边，需要等维修完成后到人机交互屏边才能上传维修状态等问题，导致无法实时简单有效的上传保养状态，延误了保养流程，降低了维修效率。
[0003]目前手势识别技术包括基于传感器的识别技术和基于计算机视觉的识别技术。基于传感器的手势识别技术方法中，传感器设备如数据手套价格昂贵，且佩戴复杂，携带不便。基于计算机视觉识别技术又分为基于传统机器学习算法的手势识别方法，以及基于深度学习的手势识别方法，传统机器学习算法存在需要人工设计特征的局限性。而现有的基于深度学习的手势识别方法模型识别过程复杂，推理速度慢，具有庞大的参数量，很难直接部署在嵌入式设备上。
[0004]因此，设计一种方便维修技师实时上传保养状态信息，提高维修的工作效率，实现保养工作标准化、透明化，提升服务流转的质量与效率的基于深度学习的人体手势识别人机交互方法及系统，就显得十分必要。
[0005]例如，申请号为CN201310404839.7的中国专利文献描述的一种基于人体手势识别的人机交互方法，通过KINECT设备对用户行为过程中手臂动作和手指动作进行采集，并对采集后的图像进行运算处理，对处理后的图像进行识别，识别后进行操作控制；对手臂动作进行识别时，通过KINECT设备进行图像采集，得到人体的骨骼图像数据，进行真人到虚拟人的映射，处理获取的数据得到手肘和手掌的行为，进行计算和分析来识别相应的动作后执行控制操作；对手指动作进行识别时，通过KINECT设备获取深度图像，根据手掌坐标获取手的位置，截取合适的手掌区域，再通过对手掌深度图像进行处理，得到手指图像的HU不变矩，通过与标准手势匹配后执行控制操作。虽然实现无缝的人机交互，给用户带来新的体验，但是其缺点在于，上述方法采用的手势识别方法模型识别过程复杂，推理速度慢，具有庞大的参数量，很难直接部署在嵌入式设备上，且无法应用于透明车间系统中。

技术实现思路

[0006]本专利技术是为了克服现有技术中，现有的深度学习人体手势识别存在识别速度慢，参数量大，无法直接部署嵌入式设备上的问题，提供了一种方便维修技师实时上传保养状态信息，提高维修的工作效率，实现保养工作标准化、透明化，提升服务流转的质量与效率
的基于深度学习的人体手势识别人机交互方法及系统。
[0007]为了达到上述专利技术目的，本专利技术采用以下技术方案：
[0008]基于深度学习的人体手势识别人机交互方法，包括如下步骤：
[0009]S1，手势数据采集：
[0010]通过摄像头，在不同环境，不同光照，不同人员的情况下，采集进行多种人体手势动作视频的，并将视频进行剪辑后，进行整理与分类，获得数据集；
[0011]S2，数据的标注：
[0012]对数据集进行打标，用数据标注工具对目标进行标定,将视频中的人体手势用矩形框标出，并形成对应的文件；
[0013]S3，数据的预处理：
[0014]对标注后的数据集进行扩增，增加数据集中的图片数量；
[0015]S4，确定关节坐标：
[0016]将预处理后的图片通过soft
‑
argmax函数将特征图转换成参数化的骨骼表示或完全可微框架中的关节坐标；
[0017]S5，模型训练：
[0018]将数据集分成训练集、验证集和测试集；训练集用于训练改进后的YOLOv5s神经网络模型；验证集则用于调整所述YOLOv5s神经网络模型参数；测试集用于选出最优参数的YOLOv5s神经网络模型；
[0019]S6，模型部署：
[0020]将步骤S5中表现最优的YOLOv5s神经网络模型部署到透明车间系统中，用于对维修人员手势进行识别并分类；
[0021]S7，人体手势识别：
[0022]透明车间系统自动对维修人员的手势进行识别和判断，并进行分类，将得到的手势与事前设置的信息相匹配；
[0023]S8，人机交互：
[0024]透明车间系统将识别到的人体手势所对应的信息，输入透明车间信息管理系统，实现透明车间业务人机交互的功能。
[0025]作为优选，步骤S2中，所述矩形框的坐标信息包括：矩形框的中心点坐标、矩形框的宽度与高度。
[0026]作为优选，步骤S3中扩增数据集的方法包括对同一图片进行翻转、旋转、缩放、裁剪和移位。
[0027]作为优选，步骤S5中所述改进后的YOLOv5s神经网络模型包括骨干网络和头部网络；所述骨干网络为GhostNet轻量级神经网络结构、Conv卷积结构和SPP空间金字塔池化层结构的组合；所述头部网络由BiFPN加权双向特征金字网络结构组成。
[0028]作为优选，步骤S5中所述改进后的YOLOv5s神经网络模型选用EIoU作为预测的损失函数，具体公式如下：
[0029][0030]其中，IoU损失函数为L
IoU
，距离损失函数为L
dis
和宽高损失为L
asp
；C
W
和C
h
分别代表目标框和预测框的最小外接矩形的宽度和高度；w、h为预测框的宽和高，w
gt
、h
gt
为目标框的宽和高，b和b
gt
分别表示预测框和目标框的中心点，ρ表示两点欧式距离，C表示目标框和预测框的最小外接矩形的对角线距离。
[0031]作为优选，步骤S5中，所述训练集、验证集和测试集的比例为8：1：1。
[0032]本专利技术还提供了基于深度学习的人体手势识别人机交互系统包括：
[0033]手势数据采集模块，用于通过摄像头，在不同环境，不同光照，不同人员的情况下，采集进行多种人体手势动作视频的，并将视频进行剪辑后，进行整理与分类，获得数据集；
[0034]数据的标注模块，用于对数据集进行打标，用数据标注工具对目标进行标定,将视频中的人体手势用矩形框标出，并形成对应的文件；
[0035]数据的预处理，用于对标注后的数据集进行扩增，增加数据集中的图片数量；
[0036]关节坐标确定模块，用于将预处理后的图片通过soft
‑
argmax函数将特征图转换成参数化的骨骼表示或完全可微框架中的关节坐标；
[0037]模型训练模块，用于将数据集分成训练集、验证集和测试集；训练集用于训练改进后的YOLOv5s神经网络模型；验证本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的人体手势识别人机交互方法，其特征在于，包括如下步骤：S1，手势数据采集：通过摄像头，在不同环境，不同光照，不同人员的情况下，采集进行多种人体手势动作视频的，并将视频进行剪辑后，进行整理与分类，获得数据集；S2，数据的标注：对数据集进行打标，用数据标注工具对目标进行标定,将视频中的人体手势用矩形框标出，并形成对应的文件；S3，数据的预处理：对标注后的数据集进行扩增，增加数据集中的图片数量；S4，确定关节坐标：将预处理后的图片通过soft
‑
argmax函数将特征图转换成参数化的骨骼表示或完全可微框架中的关节坐标；S5，模型训练：将数据集分成训练集、验证集和测试集；训练集用于训练改进后的YOLOv5s神经网络模型；验证集则用于调整所述YOLOv5s神经网络模型参数；测试集用于选出最优参数的YOLOv5s神经网络模型；S6，模型部署：将步骤S5中表现最优的YOLOv5s神经网络模型部署到透明车间系统中，用于对维修人员手势进行识别并分类；S7，人体手势识别：透明车间系统自动对维修人员的手势进行识别和判断，并进行分类，将得到的手势与事前设置的信息相匹配；S8，人机交互：透明车间系统将识别到的人体手势所对应的信息，输入透明车间信息管理系统，实现透明车间业务人机交互的功能。2.根据权利要求1所述的基于深度学习的人体手势识别人机交互方法，其特征在于，步骤S2中，所述矩形框的坐标信息包括：矩形框的中心点坐标、矩形框的宽度与高度。3.根据权利要求1所述的基于深度学习的人体手势识别人机交互方法，其特征在于，步骤S3中扩增数据集的方法包括对同一图片进行翻转、旋转、缩放、裁剪和移位。4.根据权利要求1所述的基于深度学习的人体手势识别人机交互方法，其特征在于，步骤S5中所述改进后的YOLOv5s神经网络模型包括骨干网络和头部网络；所述骨干网络为GhostNet轻量级神经网络结构、Conv卷积结构和SPP空间金字塔池化层结构的组合；所述头部网络由BiFPN加权双向特征金字网络结构组成。5.根据权利要求4所述的基于深度学习的人体手势识别人机交互方法，其特征在于，步骤S5中所述改进后的YOLOv5s神经网络模型选用EIoU作为预测的损失函数，具体公式如下：
...

【专利技术属性】
技术研发人员：陈遥，马晓辉，王科宇，陈来，李万海，项新建，
申请(专利权)人：浙江易时科技股份有限公司，
类型：发明
国别省市：