动态手势的识别方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供的一种动态手势的识别方法、装置、设备及计算机存储介质，通过获取当前时刻采集的屏幕前的深度图像和彩色图像确定当前时刻的静态手势的类别；基于深度图像确定当前时刻的静态手势的关键点在屏幕坐标系下的第一空间位置；然后通过第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置；基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别，能够实现3D屏交互场景中动态手势的识别。手势的识别。手势的识别。

【技术实现步骤摘要】
动态手势的识别方法、装置、设备及计算机可读存储介质


[0001]本申请涉及人机交互
，特别地涉及一种动态手势的识别方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]动态手势是人类日常交流中最直观的一种信息交互手段之一。在人机交互领域中，用户可以通过动态手势将意图传递给机器(计算机、VR/AR设备等)。相比于静态手势，动态手势由空间中一连串的静态手势序列组成，其表达的含义更为广泛，是完全可以替代鼠标、触屏的一种新的人机交互方式，而3D屏交互场景作为典型的人机交互场景，在该场景中实时地对动态手势进行准确识尤为重要，相关技术中通常使用神经网络的算法来对动态手势进行识别，但是神经网络算法需要耗费巨大的算力，很难在移动端或普通PC机上实时运行，无法满足人机交互的实时性需求。

技术实现思路

[0003]针对上述相关技术中的问题，本申请提供一种动态手势的识别方法、装置、设备及计算机可读存储介质。
[0004]本申请提供了一种动态手势的识别方法，所述方法包括：
[0005]获取当前时刻采集的屏幕前的深度图像和彩色图像；
[0006]基于所述深度图像和彩色图像确定当前时刻的静态手势的类别；并基于所述深度图像确定当前时刻的静态手势的关键点在屏幕坐标系下的第一空间位置；
[0007]基于所述第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置；
[0008]基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别。r/>[0009]在一些实施例中，所述基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别，包括：
[0010]基于所述第一空间位置、当前时刻的静态手势的类别和预先建立的手势状态间的转换拓扑图，确定当前时刻的动态手势状态；
[0011]基于当前时刻的动态手势状态、第二空间位置、第一空间位置和所述转换拓扑图，确定动态手势的类别。
[0012]在一些实施例中，所述转换拓扑图包括：动态手势状态、空间位置、动态手势的类别、静态手势的类别之间关系。
[0013]在一些实施例中，所述基于所述第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置，包括：
[0014]基于所述第一空间位置采用卡尔曼滤波算法预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置。
[0015]在一些实施例中，所述基于所述深度图像和彩色图像确定当前时刻的静态手势的类别，包括：
[0016]确定所述屏幕的交互区域对应的所述深度图像中的第一点集；
[0017]基于所述彩色图像确定当前时刻的静态手势的第二点集；
[0018]基于所述第一点集和所述第二点集确定当前时刻的静态手势在所述交互区域对应的目标点集；
[0019]基于所述目标点集确定当前时刻的静态手势的类别。
[0020]在一些实施例中，所述确确定所述屏幕的交互区域对应的所述深度图像中的第一点集，包括：
[0021]确定所述深度图像中各个点在所述屏幕坐标系下的第一坐标信息；
[0022]基于所述第一坐标信息和所述交互区域在所述屏幕坐标系下的第二坐标信息确定第一点集。
[0023]在一些实施例中，所述基于所述彩色图像确定当前时刻的静态手势的第二点集，包括：
[0024]将所述彩色图像转化至颜色空间，其中，所述颜色空间包括色调通道；
[0025]基于肤色在色调通道的取值范围从所述色调通道获取当前时刻的静态手势的第二点集。
[0026]在一些实施例中，所述基于所述目标点集确定当前时刻的静态手势的类别，包括：
[0027]基于所述目标点集确定手部区域凸包的缺陷数及手部区域的形态学参数；
[0028]基于所述缺陷数和所述形态学参数确定当前时刻的静态手势的类别。
[0029]本申请实施例再提供一种动态手势的识别装置，包括：
[0030]第一获取模块，用于获取当前时刻采集的屏幕前的深度图像和彩色图像；
[0031]第一确定模块，用于基于所述深度图像和彩色图像确定当前时刻的静态手势的类别；并基于所述深度图像确定当前时刻的静态手势的关键点在屏幕坐标系下的第一空间位置；
[0032]预测模块，用于基于所述第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置；
[0033]第二确定模块，用于基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别。
[0034]本申请实施例提供一种设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行上述所述动态手势的识别方法。
[0035]本申请实施例提供一种存储介质，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现上述所述动态手势的识别方法。
[0036]本申请提供的一种动态手势的识别方法、装置、设备及计算机存储介质，通过获取当前时刻采集的屏幕(如3D屏幕)前的深度图像和彩色图像确定当前时刻的静态手势的类别；基于深度图像确定当前时刻的静态手势的关键点在屏幕坐标系下的第一空间位置；然后通过第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置；基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别，能够实现3D屏交互场景中动态手势的识别。
附图说明
[0037]在下文中将基于实施例并参考附图来对本申请进行更详细的描述。
[0038]图1为本申请实施例提供的一种动态手势的识别方法的实现流程示意图；
[0039]图2为本申请实施例提供的一种通过动态手势进行交互的示意图；
[0040]图3为本申请实施例提供的一种静态手势的类别与关键点的对应关系示意图；
[0041]图4为本申请实施例提供的一种转换拓扑图的示意图；
[0042]图5为本申请实施例提供的一种深度图上的各个点转换为屏幕坐标系下的转换参数示意图；
[0043]图6为本申请实施例提供的另一种动态手势的识别的流程示意图；
[0044]图7为本申请实施例提供的一种动态手势的识别装置的结构示意图；
[0045]图8为本申请实施例提供的电子设备的组成结构示意图。
[0046]在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
[0047]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0048]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态手势的识别方法，其特征在于，包括：获取当前时刻采集的屏幕前的深度图像和彩色图像；基于所述深度图像和彩色图像确定当前时刻的静态手势的类别；并基于所述深度图像确定当前时刻的静态手势的关键点在屏幕坐标系下的第一空间位置；基于所述第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置；基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一空间位置、当前时刻的静态手势的类别和所述第二空间位置确定动态手势的类别，包括：基于所述第一空间位置、当前时刻的静态手势的类别和预先建立的手势状态间的转换拓扑图，确定当前时刻的动态手势状态，其中，所述转换拓扑图包括：动态手势状态、空间位置、动态手势的类别、静态手势的类别之间关系；基于当前时刻的动态手势状态、第二空间位置、第一空间位置和所述转换拓扑图，确定动态手势的类别。3.根据权利要求2所述的方法，其特征在于，所述转换拓扑图包括：动态手势状态、空间位置、动态手势的类别、静态手势的类别之间关系。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一空间位置预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置，包括：基于所述第一空间位置采用卡尔曼滤波算法预测下一时刻的静态手势的关键点在所述屏幕坐标系下的第二空间位置。5.根据权利要求1所述的方法，其特征在于，所述基于所述深度图像和彩色图像确定当前时刻的静态手势的类别，包括：确定所述屏幕的交互区域对应的所述深度图像中的第一点集；基于所述彩色图像确定当前时刻的静态手势的第二点集；基于所述第一点集和所述第二点集确定当前时刻的静态手势在所述交互区域对应的目标点集；基于所述目标点集确定当前时刻的静态手势的类别。6...

【专利技术属性】
技术研发人员：马思研，陈丽莉，吕耀宇，李鑫恺，李言，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：