【技术实现步骤摘要】
一种基于多类分类的手势识别方法
[0001]本专利技术涉及手势识别领域，特别是指一种基于多类分类的手势识别方法。
技术介绍
[0002]随着国家对人工智能、大数据、云计算等新兴技术提出更高的发展要求，人工智能正不断地在各个领域拓宽应用方式、为其他行业产品赋能。对于特殊人群以及在特定场景条件下，实现对不同类型的手势识别，从而形成有效的信息获取与沟通，是技术改善人们日常生活的具体体现。
[0003]手势估计与深度学习结合的发展历程，是逐渐由 2D 空间图像处理方法逐渐过渡到3D 空间的目标检测方法。2D 方法主要通过二维卷积神经网络处理图像的像素值，至今仍有这方面研究工作，例如革新了 2D 卷积神经网络，引入了长短期记忆网络处理多帧特征序列。但是，鉴于 2D 方法获取特征信息的全面性和准确性不及 3D 方法，同时随着现阶段对 3D 目标估计的更高需求，2D 方法已经逐渐淡出人们的视野，3D 空间的目标检测方法取而代之成为当今主流方法，但调研中发现经典的手势估计方法大多是单任务形式。
技术实现思路
[000...
【技术保护点】
【技术特征摘要】
1.一种基于多类分类的手势识别方法，其特征在于，包括：基于RGB图进行三维手部mesh重建，预测3D关节点；将手部RGB图像输入2D阶段网络实现2D手部姿势估计：依次得到2D手部姿势初级特征、融合2D手部姿势中级特征以及2D手部姿势高级特征、2D手部关节热图以及手部分割初级特征、融合手部分割中级特征、手部分割高级特征、手部分割区域概率图；2D手部姿势估计实现3D手势估计：将2D手部姿势初级特征、融合2D手部姿势中级特征以及2D手部姿势高级特征、2D手部关节热图以及手部分割初级特征、融合手部分割中级特征、手部分割高级特征、手部分割区域概率图进行一系列再融合操作，得到手部分割任务下的手部关节点特征图，输入到3D 手势估计网络中的特征编码网络，得到3D 手部关节点热图；将预测3D关节点和得到的3D 手部关节点热图进行比对校准。2.根据权利要求1所述的一种基于多类分类的手势识别方法，其特征在于，基于RGB图进行三维手部mesh重建，预测3D关节点，具体包括三维重建网络，所述三维重建网络包括：2D手势估计模块、深度图预测模块、特征融合层以及3D手势估计模块。3.根据权利要求1所述的一种基于多类分类的手势识别方法，其特征在于，将手部RGB图像输入2D阶段网络实现2D手部姿势估计，具体包括：将手部RGB图像分别输入2D手部姿势估计网络和手部分割网络，通过2D手部姿势估计网络中编码器提取2D手部姿势初级特征，通过手部分割网络中的编码器提取手部分割初级特征，将2D手部姿势初级特征和手部分割初级特征输入信息共享模块，分别得到融合2D手部姿势中级特征和融合手部分割中级特征，将融合2D手部姿势中级特征返回2D手部姿势估计网络支路，与2D手部姿势初级特征进行残差融合得到2D手部姿势高级特征，将融合手部分割中级特征返回手部分割网络支路，与手部分割初级特征进行残差融合得到手部分割高级特征；再将2D手部姿势高级特征输入2D手部姿势估计网络中的解码分类器得到2D手部关节热图，将手部分割高级特征输入手部分割网络中的解码多分类器得到手部分割区域概率图。4.根据权利要求3所述的一种基于多类分类的手势识别方法，其特征在于， 2D手部姿势估计网络中编码器提和手部分割网络中的编码器结构相同，均依次包括：卷积层，M=64、N=128的残差层，最大池化层，M=128、N=128的残差层以及M=128、N=256的残差层，其中M 和 N 分别指每一层操作中特征图的输入和输出通道数。5.根据权利要求4所述的一种基于多类分类的手势识别方法，其特征在于，残差层中，残差主支路由 2 个 1
...
【专利技术属性】
技术研发人员：蔡鹏杰，杨德荣，廖梓淇，邹永林，饶水英，秦坚轩，刘鑫，陈锐瀚，李志，李升，戴铭，
申请(专利权)人：广东海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。