卷积神经网络的训练方法、手势识别方法、装置及设备制造方法及图纸

本发明专利技术公开了一种卷积神经网络的训练方法，首先获取待训练手势图像；根据Mask R‑CNN目标检测对手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标；对每一关键点，根据关键点的可视性进行相应标识，以得到标识后的特征信息，其中，特征信息包括关键点坐标和相应的可视性标志；对每一手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像；对每一特征点分布图像，根据特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签；根据所述特征点分布图像与相应的手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络，简化了处理的复杂度，提高了处理效率。

【技术实现步骤摘要】
卷积神经网络的训练方法、手势识别方法、装置及设备
本专利技术涉及信息处理
，尤其涉及一种卷积神经网络的训练方法、手势识别方法及装置。
技术介绍
当前，人机交互技术已经从以计算机为中心逐步转移到以用户为中心，是多种通道、多种媒体的交互技术。手势是一种自然、直观、易于学习的人机交互手段。从传统的鼠标、键盘输入到现在的红外、无线等，转为以人手直接作为计算机的输入设备，人机间的通讯将不再需要中间的媒体，用户可以简单地定义一种适当的手势来对周围的机器进行控制。这使得人机交互变得更加的方便、丰富。目前，较为活跃的人机交互主要包括语音识别、人脸识别、体态识别、手势识别、虚拟现实、增强现实等等。基于人手交互的产品越累越多，比如基于摄像头的手写汉字系统、基于手势交互的PPT控制系统、基于人手交互的增强现实系统等已经在日常生活中流传开来，以人为中心的人机交互技术正经历一个井喷式的发展阶段。手势识别目的是通过数学算法来识别人类手势。手势可以源自任何身体运动或状态，但通常源自面部或手。本领域中的当前焦点包括来自面部和手势识别的情感识别。用户可以使用简单的手势来控制或与设备交互，而无需触碰到设备。手势识别可以被视为计算机理解人体语言的方式，从而在机器和人之间搭建比原始文本用户界面或甚至GUI(图形用户界面)更丰富的桥梁。手势识别使人们能够与机器(HMI)进行通信，并且无需任何机械设备即可自然交互。使用手势识别的概念，可以将手指指向计算机屏幕，使得光标相应地移动。专利技术人在实施本专利技术实施例时，专利技术人发现现有技术中，手势是人手或者手和手臂结合所产生的各种姿势和动作，在高维观测空间中要对手势进行识别跟踪，则要处理的手势特征信息很多，在初期进行手势识别训练或后期进行手势识别时，往往会因为手势特征的信息数据太多，导致处理的复杂度高，处理效率不高。
技术实现思路
有鉴于此，本专利技术实施例提供一种卷积神经网络的训练方法、手势识别方法及装置，能降低手势识别处理的复杂度，提高处理效率。第一方面，本专利技术实施例提供了一种卷积神经网络的训练方法，包括如下步骤：获取待训练手势图像；根据MaskR-CNN目标检测对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标；对每一所述关键点，根据所述关键点的可视性进行相应标识，以得到标识后的特征信息，其中，所述特征信息包括所述关键点坐标和相应的可视性标志；对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像；对每一所述特征点分布图像，根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签；根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。在第一方面的第一种可能实现方式中，所述根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络包括：将所述特征点分布图像输入所述初始卷积神经网络，通过所述初始卷积神经网络中的分类器进行手势识别，输出识别结果；根据所述识别结果及相应的所述手势指令标签，利用反向传播算法调整所述初始卷积神经网络的参数，以获取训练完成的卷积神经网络。在第一方面的第二种可能实现方式中，所述获取待训练手势图像包括：获取训练样本；对所述训练样本进行图像预处理，以得到待训练手势图像，其中，所述待训练手势图像为二值化图像。结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像包括：对每一所述手势图像，基于流行学习算法中的局部保留映射对所述标识后的特征信息进行降维，获取降维后特征点分布图像。结合第一方面的第二种可能实现方式，在第一方面的第四种可能实现方式中，所述根据MaskR-CNN目标检测分割对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标包括：对所述手势图像进行轮廓提取，以获取所述手势图像中的手势候选区域；采用包围盒对所述手势候选区域进行手势包围，以获取手势预测区域；根据MaskR-CNN目标检测分割对所述手势预测区域进行关键点检测，以获取所述手势图像中各个手势对应的关键点坐标。第二方面，提供了一种基于卷积神经网络的手势识别方法，包括：获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络根据特征点分布图像与相应的手势指令标签，对初始卷积神经网络进行卷积神经网络训练；其中，所述手势指令标签为根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签，其中，所述特征点分布图像为基于流形学习算法对待训练手势图像中标识后的特征信息进行降维得到的，其中，所述特征信息包括基于MaskR-CNN目标检测对所述待训练手势图像进行分割得到的关键点坐标，和对所述关键点坐标进行可视性标识后的可视性标志；获取经过所述降维后的预测手势图像；根据所述训练完成的卷积神经网络，对所述预测手势图像进行识别，得到相应的手势识别指令。第三方面，本专利技术实施例还提供了一种卷积神经网络的训练装置，包括：手势获取模块，用于获取待训练手势图像；坐标获取模块，用于根据MaskR-CNN目标检测对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标；特征信息获取模块，用于对每一所述关键点，根据所述关键点的可视性进行相应标识，以得到标识后的特征信息，其中，所述特征信息包括所述关键点坐标和相应的可视性标志；降维模块，用于对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像；标签获取模块，用于对每一所述特征点分布图像，根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签；训练模块，用于根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。第四方面，本专利技术实施例还提供了一种基于卷积神经网络的手势识别装置，包括：网络获取模块，用于获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络根据特征点分布图像与相应的手势指令标签，对初始卷积神经网络进行卷积神经网络训练；其中，所述手势指令标签为根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签，其中，所述特征点分布图像为基于流形学习算法对待训练手势图像中标识后的特征信息进行降维得到的，其中，所述特征信息包括基于MaskR-CNN目标检测对所述待训练手势图像进行分割得到的关键点坐标，和对所述关键点坐标进行可视性标识后的可视性标志；图像获取模块，用于获取经过所述降维后的预测手势图像；识别模块，用于根据所述训练完成的卷积神经网络，对所述预测手势图像进行识别，得到相应的手势识别指令。第五方面，本专利技术实施例还提供了一种卷积神经网络的训练设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的卷积神经网络的训练方法。第六方面，本专利技术实施例还提供了一种基于卷积神经网络的手势识别设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处本文档来自技高网...

【技术保护点】
1.一种卷积神经网络的训练方法，其特征在于，包括：获取待训练手势图像；根据Mask R‑CNN目标检测对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标；对每一所述关键点，根据所述关键点的可视性进行相应标识，以得到标识后的特征信息，其中，所述特征信息包括所述关键点坐标和相应的可视性标志；对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像；对每一所述特征点分布图像，根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签；根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。

【技术特征摘要】
1.一种卷积神经网络的训练方法，其特征在于，包括：获取待训练手势图像；根据MaskR-CNN目标检测对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标；对每一所述关键点，根据所述关键点的可视性进行相应标识，以得到标识后的特征信息，其中，所述特征信息包括所述关键点坐标和相应的可视性标志；对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像；对每一所述特征点分布图像，根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签；根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。2.根据权利要求1所述的卷积神经网络的训练方法，其特征在于，所述根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络包括：将所述特征点分布图像输入所述初始卷积神经网络，通过所述初始卷积神经网络中的分类器进行手势识别，输出识别结果；根据所述识别结果及相应的所述手势指令标签，利用反向传播算法调整所述初始卷积神经网络的参数，以获取训练完成的卷积神经网络。3.根据权利要求1所述的卷积神经网络的训练方法，其特征在于，所述获取待训练手势图像包括：获取训练样本；对所述训练样本进行图像预处理，以得到待训练手势图像，其中，所述待训练手势图像为二值化图像。4.根据权利要求3所述的卷积神经网络的训练方法，其特征在于，所述对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像包括：对每一所述手势图像，基于流行学习算法中的局部保留映射对所述标识后的特征信息进行降维，获取降维后特征点分布图像。5.根据权利要求3所述的卷积神经网络的训练方法，其特征在于，所述根据MaskR-CNN目标检测对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标包括：对所述手势图像进行轮廓提取，以获取所述手势图像中的手势候选区域；采用包围盒对所述手势候选区域进行手势包围，以获取手势预测区域；根据MaskR-CNN目标检测对所述手势预测区域进行关键点检测，以获取所述手势图像中各个手势对应的关键点坐标。6.一种基于卷积神经网络的手势识别方法，其特征在于，包括：获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络根据特征点分布图像与相应的手势指令标签，对初始卷积神经网络进行卷积神经网络训练；其中，所述手势指令标签为根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签，其中，...

【专利技术属性】
技术研发人员：杜翠凤，周冠宇，温云龙，杨旭，周善明，张添翔，叶绍恩，梁晓文，
申请(专利权)人：广州杰赛科技股份有限公司，广州杰赛通信规划设计院有限公司，
类型：发明
国别省市：广东,44