基于3D-CNN的动态手势识别方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术涉及一种基于3D

【技术实现步骤摘要】
基于3D
‑
CNN的动态手势识别方法、装置、设备以及存储介质


[0001]本专利技术涉及机器视觉的
，尤其是涉及一种基于3D
‑
CNN的动态手势识别方法、装置、设备以及存储介质。

技术介绍

[0002]随着计算机交互技术的快速发展，人们已经不满足于键盘鼠标的简单交互，一直在探索更简单易用的人机交互手段，手势识别作为一个更为灵活自然的交互手段，近些年被广泛研究。
[0003]手势识别分为静态手势识别与动态手势识别，静态手势是指定对相对不动的手进行特征检测与匹配，相对较简单；动态手势除了对手型特征的检测外，还要对手势的运动轨迹进行跟踪识别。由于动态手势本身具有多样性和差异性，使得动态手势的识别准确率仍较低。
[0004]近几年，随着深度学习的发展，利用深度卷积神经网络进行动态手势识别受到学者们的关注。然而，常见的2D卷积神经网络用于处理视频图像序列时，容易丢失目标在时间维度上的信息，无法有效提取目标在时空维度的变化信息，进而影响网络的识别精度。
[0005]而3D卷积神经网络(3D
‑
CNN)用于处理视频图像序列时能够识别所需的空间特征和时间特征，本专利技术利用3D卷积神经网络进行动态手势识别来提高识别精度。

技术实现思路

[0006]本专利技术目的一是提供一种基于3D
‑
CNN的动态手势识别方法，具有提高识别动态手势精度的特点。
[0007]本专利技术的上述专利技术目的一是通过以下技术方案得以实现的：
[0008]一种基于3D
‑
CNN的动态手势识别方法，包括：获取动态手势图像；对获取的动态手势图像进行手腕和手部定位，并获取多个检测点；在多个检测点的基础上通过手势识别模型识别所述动态手势图像，得到手势动作的类型和轨迹；其中，所述手势识别模型基于3D
‑
CNN算法。基于3D
‑
CNN算法，能够在空间和时域上对获取的动态手势进行识别，进而根据得到手势动作的类型和轨迹进行操作，提高了识别动态手势精度。同时，利用图像定位和检测点的获取，对图像进行预处理，只需抓住一些关键点就能进行识别，在提高检测精度的同时也提高了识别效率。
[0009]本专利技术在一较佳示例中可以进一步配置为：获取多个标记有检测点的样本动态手势图像；根据样本动态手势图像对初始手势识别模型进行训练获得所述手势识别模型。本申请提供的方案中，可以提前获取样本动态手势图像，也可以通过公开数据进行初始手势识别训练，通过更多的训练，让手势识别模型具有更加多的手势动作类型和轨迹。
[0010]本专利技术在一较佳示例中可以进一步配置为：对获取的动态手势图像进行分割、降噪和轮廓节点检测。
[0011]本专利技术在一较佳示例中可以进一步配置为：所述手势识别模型识别过程至少包
括：空间识别，利用多个检测点的位置提取手势的空间位置；时域识别，基于空间识别，利用多个检测点的位置变化提取手势的时域特征；类别输出，基于时域特征，输出手势动作的类型和轨迹。经过一层层的筛选，较为精准的获得手势动作类型和轨迹。
[0012]本专利技术在一较佳示例中可以进一步配置为：；将所述序列标记与手势动作的类型和轨迹结合，形成行为记忆。由于不同的人具有不同的行为习惯，通过对不同的人进行序列标记，形成特定的人具有特定的手势动作的类型和轨迹，可提高对手势动作类型和轨迹判断的精度。
[0013]本专利技术在一较佳示例中可以进一步配置为：对序列标记进行定期更新。
[0014]本专利技术目的二是提供基于3D
‑
CNN的动态手势识别装置，具有提高识别动态手势精度的特点。
[0015]本专利技术的上述专利技术目的二是通过以下技术方案得以实现的：
[0016]一种基于3D
‑
CNN的动态手势识别装置，至少包括：图像采集模块，用于获取动态手势图像；图像校准模块，用于对获取的动态手势图像进行手腕和手部定位，并获取多个检测点；手势识别模型，用于得到手势动作的类型和轨迹。基于3D
‑
CNN算法，能够在空间和时域上对获取的动态手势进行识别，进而根据得到手势动作的类型和轨迹进行操作，提高了识别动态手势精度。并且，图像采集模块可采用彩色摄像头、红外摄像头、深度摄像头结合来提高手势图像本身的清晰度，也能提高手势识别的精度。另外，利用图像定位和检测点的获取，对图像进行预处理，只需抓住一些关键点就能进行识别，在提高检测精度的同时也提高了识别效率。
[0017]本专利技术在一较佳示例中可以进一步配置为：还包括序列标记模块，用于对不同的手进行序列标记。
[0018]本专利技术目的三是提供一种智能终端，具有提高识别动态手势精度的特点。
[0019]本专利技术的上述专利技术目的三是通过以下技术方案得以实现的：
[0020]一种智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述基于3D
‑
CNN的动态手势识别方法的计算机程序。
[0021]本专利技术目的四是提供一种计算机存储介质，能够存储相应的程序，具有便于实现提高识别动态手势精度的特点。
[0022]本专利技术的上述专利技术目的四是通过以下技术方案得以实现的：
[0023]一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种基于3D
‑
CNN的动态手势识别方法的计算机程序。
附图说明
[0024]图1是本专利技术其中一实施例的手势识别装置架构示意图。
[0025]图2是本专利技术其中一实施例的手势识别模型的架构示意图。
[0026]图3是本专利技术其中一实施例的识别方法的流程示意图。
[0027]图4是本专利技术其中另一实施例的识别方法的流程示意图。
[0028]图中，100、图像采集模块，101、彩色摄像机，102、红外摄像机，103、深度摄像机，200、视频处理器，201、图像校准模块，300、初始手势识别模型，400、手势识别模型，401、通讯接口，402、空间识别模块，403、时域识别模块，404、手势解析模块，405、类别输出模块，
500、数据存储器，600、交互设备。
具体实施方式
[0029]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]以下结合附图对本申请中的技术方案作进一步详细说明。
[0031]由于本申请实施例涉及神经网络的应用，为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
[0032]3D
‑
CNN，即3D卷积神经网络：
[0033]卷积神经网络(CN本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D
‑
CNN的动态手势识别方法，其特征在于，包括：获取动态手势图像；对获取的动态手势图像进行手腕和手部定位，并获取多个检测点；在多个检测点的基础上通过手势识别模型(400)识别所述动态手势图像，得到手势动作的类型和轨迹；其中，所述手势识别模型(400)基于3D
‑
CNN算法。2.根据权利要求1所述的方法，其特征在于，还包括：获取多个标记有检测点的样本动态手势图像；根据样本动态手势图像对初始手势识别模型(300)进行训练获得所述手势识别模型(400)。3.根据权利要求2所述的方法，其特征在于，还包括：对获取的动态手势图像进行分割、降噪和轮廓节点检测。4.根据权利要求1所述的方法，其特征在于，所述手势识别模型(400)识别过程至少包括：空间识别，利用多个检测点的位置提取手势的空间位置；时域识别，基于空间识别，利用多个检测点的位置变化提取手势的时域特征；类别输出，基于时域特征，输...

【专利技术属性】
技术研发人员：孟庆涛，张银根，张桐，何佳俊，刘欣源，楚友保，
申请(专利权)人：苏州金螳螂文化发展股份有限公司，
类型：发明
国别省市：