一种可用于手部动作识别的神经网络模型的生成方法和系统技术方案

本发明专利技术实施例提供了一种可用于手部动作识别的神经网络模型的生成方法和系统。在本发明专利技术实施例中，采集手部数据，采用所述手部数据，生成训练数据，构建原始神经网络模型，使用所述训练数据训练所述原始神经网络模型，得到所述可用于手部动作识别的神经网络模型，采用该神经网络模型，可实现自定义手势动作的识别，并且识别精度高，对相似动作的区分准确，兼顾左右手的属性，鲁棒性好，可拓展性强，另外，还降低了硬件成本，使用范围广，兼容多个开发环境，实时性较好。

【技术实现步骤摘要】
一种可用于手部动作识别的神经网络模型的生成方法和系统
本专利技术涉及手部动作识别
，特别是涉及一种可用于手部动作识别的神经网络模型的生成方法和系统。
技术介绍
随着智能移动设备和可穿戴设备的兴起，手势、眼动、人脸识别等新兴技术得到了广泛的现实应用。目前，手势识别在人机交互、智能控制等领域均发挥了重要作用。基于视觉的手势识别实现方式是指利用设备采集人手的图像，并进行图像分析得到手势的信息，从而识别出手部动作，具备适用范围广、成本低、用法简易等优点。现有的手势动作识别方案中主要有两种，一种是使用目标检测算法直接检测图像中手的动作，可扩展性不强，对不同用户的手泛化性不够，效率低且不够灵活，无法满足设备对定制手势动作的高要求；另一种是使用leapmotion或knect这样深度传感器来捕捉手势，再进行动作判定，这种方案需要培贵昂贵的硬件，具有一定的使用局限性，应用面不够广，无法在嵌入式设备上搭载。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种可用于手部动作识别的神经网络模型的生成方法和相应的一种可用于手部动作识别的神经网络模型的生成系统。为了解决上述问题，本专利技术实施例公开了一种可用于手部动作识别的神经网络模型的生成方法，所述方法包括：采集手部数据；采用所述手部数据，生成训练数据；构建原始神经网络模型；使用所述训练数据训练所述原始神经网络模型，得到所述可用于手部动作识别的神经网络模型。可选地，所述手部数据包括手部的关节相对距离坐标，所述采集手部数据的步骤包括：确定手部关键点；获取所述手部关键点的空间坐标；采用所述手部关键点的空间坐标，计算手部的关节相对距离坐标。可选地，所述手部数据还包括手部属性，所述手部属性包括左手属性或者右手属性，所述采集手部数据的步骤还包括：对所述手部属性进行判断，确定所述手部属性。可选地，使用所述训练数据训练所述原始神经网络模型，得到所述用于手部动作识别的神经网络模型的步骤包括：使用所述训练数据训练所述原始神经网络模型，并计算所述原始神经网络模型的损失函数的值；当所述损失函数的值稳定时，将所述原始神经网络模型确定为所述可用于手部动作识别的神经网络模型。本专利技术实施例还公开了一种可用于手部动作识别的神经网络模型的生成系统，所述系统包括：手部数据采集模块，用于采集手部数据；训练数据生成模块，用于采用所述手部数据，生成训练数据；原始神经网络构模型建模块，用于构建原始神经网络模型；神经网络模型训练模块，使用所述训练数据训练所述原始神经网络模型，得到所述可用于手部动作识别的神经网络模型。可选地，所述手部数据包括手部的关节相对距离坐标，所述手部数据采集模块包括：手部关键点确定子模块，用于确定手部关键点；空间坐标获取子模块，用于获取所述手部关键点的空间坐标；关节相对距离坐标计算子模块，用于采用所述手部关键点的空间坐标，计算手部的关节相对距离坐标。可选地，所述手部数据还包括手部属性，所述手部属性包括左手属性或者右手属性，所述手部数据采集模块还包括：手部属性确定子模块，用于对所述手部属性进行判断，确定所述手部属性。可选地，所述原始神经网络模型训练模块包括：原始神经网络模型训练子模块，用于使用所述训练数据训练所述原始神经网络模型，并计算所述原始神经网络模型的损失函数的值；神经网络模型确定子模块，用于当所述损失函数的值稳定时，将所述原始神经网络模型确定为所述可用于手部动作识别的神经网络模型。本专利技术实施例包括以下优点：在本专利技术实施例中，采集手部数据，采用所述手部数据，生成训练数据，构建原始神经网络模型，使用所述训练数据训练所述原始神经网络模型，得到所述可用于手部动作识别的神经网络模型，采用该神经网络模型，可实现自定义手势动作的识别，并且识别精度高，对相似动作的区分准确，兼顾左右手的属性，鲁棒性好，可拓展性强，另外，还降低了硬件成本，使用范围广，兼容多个开发环境，实时性较好。附图说明图1是本专利技术的一种可用于手部动作识别的神经网络模型生成方法实施例一的步骤流程图。图2是本专利技术的手部关键点的分布示意图。图3是本专利技术的一种可用于手部动作识别的神经网络模型生成系统实施例一的结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。参照图1，示出了本专利技术的一种可用于手部动作识别的神经网络模型生成方法实施例一的步骤流程图，具体可以包括如下步骤：步骤101，采集手部数据；在本申请实施例中，在采集手部数据的步骤之前，还包括：采集手部图像；具体的，可以通过图像采集设备采集手部图像，例如，摄像头等。从所述手部图像中识别出人体手部。在拍摄了手部图像后，需要检测所述图像中是否存在人体手部，具体的，可以通过MediaPipe框架搭载的模型来识别人体手部。MediaPipe是一个基于图形的跨平台框架，用于构建多模式(视频，音频和传感器)应用的机器学习管道。Mediapipe框架由多个模型共同工作，其中包括手掌检测模型，可在手部图像上检测并输出手掌边界裁剪区域。在手部图像中检测到存在人体手部后，需要根据手部图像来获取人体手部的手部数据，在本专利技术的实施例中，所述手部数据包括手部的关节相对距离坐标，所述采集手部数据的步骤包括：子步骤1011，确定手部关键点；同样的，可以通过Mediapipe框架搭载的手部关键点识别模型在所述手掌边界裁剪区域中识别手部关键点，其中，图2示出了手部关键点的分布示意图，手部拇指关键点包括0、1、2、3、4；食指关键点包括5、6、7、8；中指关键点包括9、10、11、12；无名指关键点包括13、14、15、16；小值包括17、18、19、20。子步骤1012，获取所述手部关键点的空间坐标；在确定了手部关键点后，获取手部关键点的空间坐标，具体的，以图像的水平方向为X轴，垂直方向为Y轴，图像采集设备到手部的直线方向为Z轴建立空间坐标系，其中X轴与Y轴的坐标原点位于图像的左上角，Z轴预测的是平均相对深度值，所有手部关键点的原始Z坐标都是手腕关键点的相对深度值，因此，需要对手部关键点的原始Z坐标进行归一化处理，具体的，可以采用以下公式进行归一化处理：其中，Zi为第i个手部关键点进行归一化处理后的Z坐标值；min(z)为所有手部关键点的原始Z坐标值的最小值；max(z)为所有手部关键点的原始Z坐标值的最大值。子步骤1013，采用所述手部关键点的空间坐标，计算手部的关节相对距离坐标。在获取了手部关键点的空间坐标后，采用所述手部关键点的空间坐标，计算手部的关节相对距离坐标。其中，所述手部的每一个关节本文档来自技高网...

【技术保护点】
1.一种可用于手部动作识别的神经网络模型的生成方法，其特征在于，所述方法包括：/n采集手部数据；/n采用所述手部数据，生成训练数据；/n构建原始神经网络模型；/n使用所述训练数据训练所述原始神经网络模型，得到所述可用于手部动作识别的神经网络模型。/n

【技术特征摘要】
1.一种可用于手部动作识别的神经网络模型的生成方法，其特征在于，所述方法包括：
采集手部数据；
采用所述手部数据，生成训练数据；
构建原始神经网络模型；
使用所述训练数据训练所述原始神经网络模型，得到所述可用于手部动作识别的神经网络模型。


2.根据权利要求1所述的方法，其特征在于，所述手部数据包括手部的关节相对距离坐标，所述采集手部数据的步骤包括：
确定手部关键点；
获取所述手部关键点的空间坐标；
采用所述手部关键点的空间坐标，计算手部的关节相对距离坐标。


3.根据权利要求1所述的方法，其特征在于，所述手部数据还包括手部属性，所述手部属性包括左手属性或者右手属性，所述采集手部数据的步骤还包括：
对所述手部属性进行判断，确定所述手部属性。


4.根据权利要求1所述的方法，其特征在于，所述使用所述训练数据训练所述原始神经网络模型，得到所述用于手部动作识别的神经网络模型的步骤包括：
使用所述训练数据训练所述原始神经网络模型，并计算所述原始神经网络模型的损失函数的值；
当所述损失函数的值稳定时，将所述原始神经网络模型确定为所述可用于手部动作识别的神经网络模型。


5.一种可用于手部动作识别的神经网络模型的生成系统，其特征在于，所述系统包括：
手部数据采集模块，用于采集手部数据；
训练数据生成模块，用于采用所述手部数据，生成训练数据；
原始...

【专利技术属性】
技术研发人员：黄昌正，陈曦，周言明，霍炼楚，
申请(专利权)人：幻境虚拟现实广州智能科技研究院有限公司，南京哈雷智能科技有限公司，淮北幻境智能科技有限公司，
类型：发明
国别省市：广东;44