一种图像识别方法、装置及电子设备制造方法及图纸

本申请提供一种图像识别方法、装置及电子设备，所述方法包括：获取深度图像的手部点云；将所述手部点云输入到预设神经网络模型中，以得到所述预设神经网络模型输出的手部关节位置；基于所述手部关节位置确定所述深度图像的手部网格；确定与所述手部关节位置匹配的目标手势；基于所述手部网格和所述目标手势，确定所述深度图像的手部识别结果。本申请可以提高手部识别结果的准确度。手部识别结果的准确度。手部识别结果的准确度。

【技术实现步骤摘要】
一种图像识别方法、装置及电子设备


[0001]本申请涉及图像处理
，尤其涉及一种图像识别方法、装置及电子设备。

技术介绍

[0002]越来越多的交互式系统需要精确识别三维手姿态和三维手形状，但手势识别时存在手分辨率低、背景杂乱、手与其它对象交互、手存在遮挡、不同手势相似、多自由度等情况，导致手部识别结果的准确度较低。

技术实现思路

[0003]本申请提供一种图像识别方法、装置及电子设备，以解决手部识别结果的准确度较低的问题。
[0004]第一方面，本申请实施例提供了一种图像识别方法，包括：
[0005]获取深度图像的手部点云；
[0006]将所述手部点云输入到预设神经网络模型中，以得到所述预设神经网络模型输出的手部关节位置；
[0007]基于所述手部关节位置确定所述深度图像的手部网格；
[0008]确定与所述手部关节位置匹配的目标手势；
[0009]基于所述手部网格和所述目标手势，确定所述深度图像的手部识别结果。
[0010]第二方面，本申请实施例还提供一种图像识别装置，包括：
[0011]第一获取模块，用于获取深度图像的手部点云；
[0012]输入模块，用于将所述手部点云输入到预设神经网络模型中，以得到所述预设神经网络模型输出的手部关节位置；
[0013]第一确定模块，用于基于所述手部关节位置确定所述深度图像的手部网格；
[0014]第二确定模块，用于确定与所述手部关节位置匹配的目标手势；
[0015]第三确定模块，用于基于所述手部网格和所述目标手势，确定所述深度图像的手部识别结果。
[0016]第三方面，本申请实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如前述第一方面所述方法中的步骤。
[0017]第四方面，本申请实施例还提供一种计算机可读存储介质，用于存储程序，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面所述方法中的步骤。
[0018]本申请实施例中，基于所述预设神经网络模型输出的手部关节位置，确定所述深度图像的手部网格以及匹配的目标手势，基于所述手部网格和所述目标手势，确定所述深度图像的手部识别结果，通过手部关节位置的定位，可以有效识别存在遮挡的手部深度图，从而提高图像识别结果的准确率。
附图说明
[0019]为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请实施例提供的图像识别方法的流程示意图；
[0021]图2是本申请实施例提供的手势识别网络的结构示意图；
[0022]图3是本申请实施例提供的手部关节提取网络的结构示意图；
[0023]图4是本申请实施例提供的手部网格恢复网络的结构示意图；
[0024]图5是本申请实施例提供的手势识别网络输出结果的示意图之一；
[0025]图6是本申请实施例提供的手势识别网络输出结果的示意图之二；
[0026]图7是本申请实施例提供的手势识别网络输出结果的示意图之三；
[0027]图8是本申请实施例提供的手势识别原型网络输出结果的示意图；
[0028]图9是本申请实施例提供的图像识别装置的结构示意图之一；
[0029]图10是本申请实施例提供的图像识别装置的结构示意图之二；
[0030]图11是本申请实施例提供的图像识别装置的结构示意图之三；
[0031]图12是本申请实施例提供的图像识别装置的结构示意图之四；
[0032]图13是本申请实施例提供的图像识别装置的结构示意图之五；
[0033]图14是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0034]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]本申请实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，本申请中使用“和/或”表示所连接对象的至少其中之一，例如A和/或B和/或C，表示包含单独A，单独B，单独C，以及A和B都存在，B和C都存在，A和C都存在，以及A、B和C都存在的7种情况。
[0036]请参阅图1，图1是本申请实施例提供的一种图像识别方法，如图1所示，包括以下步骤：
[0037]步骤101、获取深度图像的手部点云。
[0038]其中，上述深度图像可以是任意图像采集设备获取的以图像采集设备到各点的距离作为像素值的图像，例如：立体照相机、TOF(Time of flight，飞行时间)照相机或者激光扫描照相机等，另外，可以通过上述图像采集设备内部参数将上述深度图像转换成图像采集设备坐标系中的点云。并且，上述深度图像可以由图像采集设备对手部模型渲染得到，也
可以是直接由其他设备输入的深度图像。
[0039]步骤102、将所述手部点云输入到预设神经网络模型中，以得到所述预设神经网络模型输出的手部关节位置。
[0040]可以理解，上述预设神经网络模型可以用于提取手部点云中的手部关节位置，上述输出的手部关节位置可以包括多个手部关节的位置坐标以及每个手部关节的类型，例如：可以将手部关节分为手掌关节和手指关节两种类型，在对上述预设神经网络模型训练过程中，不同数据集的手部关节数量也不一样。具体的，以NYU数据集的手部关节模型为例，每个手指包括3个手部关节点，手掌包括1个手部关节点，即一共16个手部关节点。这样，上述预设神经网络模型输出的手部关节位置包括16个手部关节点的位置坐标以及上述16个手部关节点的类型。
[0041]步骤103、基于所述手部关节位置确定所述深度图像的手部网格。
[0042]具体的，可以将上述手部关节位置的点云输入到图卷积神经网络中，以获取对应的手部网格。
[0043]步骤104、确定与所述手部关节位置匹配的目标手势。
[0044]本实施例中，步骤103和步骤104执行没有先后之分，上述手部网格和上述目标手势可以同时得到。
[0045]其中，上述目标手势可以根据预先获取的待匹配手势得到，例如：在多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：获取深度图像的手部点云；将所述手部点云输入到预设神经网络模型中，以得到所述预设神经网络模型输出的手部关节位置；基于所述手部关节位置确定所述深度图像的手部网格；确定与所述手部关节位置匹配的目标手势；基于所述手部网格和所述目标手势，确定所述深度图像的手部识别结果。2.如权利要求1所述的方法，其特征在于，所述确定与所述手部关节位置匹配的目标手势，包括：获取手势模板数据集，其中，所述手势模板数据集包括多个手势模板；将所述手部关节位置分别与所述多个手势模板进行配准，得到所述多个手势模板一一对应的变换矩阵；获取所述手部关节位置分别与所述多个手势模板的匹配分数；基于目标手势模板以及所述目标手势模板对应的变换矩阵，确定与所述手部关节位置匹配的目标手势，其中，所述目标手势模板为所述多个手势模板中匹配分数最高的手势模板。3.如权利要求2所述的方法，其特征在于，所述获取所述手部关节位置分别与所述多个手势模板的匹配分数，包括：获取手部关节位置分别与所述多个手势模板的对应点对集合；获取所述对应点对集合中每个对应点对的距离；获取所述对应点对集合中的第一对应点对，其中，所述第一对应点对的距离小于第一预设阈值；基于所述第一对应点对的数量确定所述匹配分数。4.如权利要求3所述的方法，其特征在于，所述基于所述手部网格和所述目标手势，确定所述深度图像的手部识别结果之前，所述方法还包括：获取所述目标手势与所述手部点云的平均距离；所述基于所述手部网格和所述目标手势，确定所述深度图像的手部识别结果，包括：若所述平均距离小于第二预设阈值，基于所述手部网格和所述目标手势确定所述深度图像的手部识别结果。5.如权利要求1所述的方法，其特征在于，所述预设神经网络模型包括依次连接的多个提取模块和全连接层，每个提取模块包括第一卷积层和池化层，第一提取模块的池化层与第二提取模块的第一卷积层之间连接有第二卷积层，其中，所述多个提取模块...

【专利技术属性】
技术研发人员：秦威，祝晓旦，胡勍，石闻天，庄子龙，孙衍宁，黄豪哲，
申请(专利权)人：上海交通大学中国移动通信集团有限公司，
类型：发明
国别省市：