手势处理方法、交互控制方法及设备技术

本申请公开了一种手势处理方法、交互控制方法及设备，所述手势处理方法包括：采集手部运动时的视频数据，并获取所述视频数据的目标图像帧；提取所述目标图像帧的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定所述手部预定部位在所述图像帧的目标位置；将所述目标位置映射至显示屏幕，获得对应的操作位置；其中，所述控制命令针对所述操作位置执行。本申请减少了设备数量，同时提高控制准确度。

Gesture Processing Method, Interactive Control Method and Equipment

This application discloses a gesture processing method, an interactive control method and a device. The gesture processing method includes: collecting video data of hand movement and acquiring the target image frame of the video data; extracting the hand features of the target image frame; recognizing the hand features by using gesture recognition model to obtain gesture information; and determining the corresponding control command of gesture information. To determine the target position of the predetermined part of the hand in the image frame, map the target position to the display screen and obtain the corresponding operation position, in which the control command is executed for the operation position. This application reduces the number of equipment and improves control accuracy.

【技术实现步骤摘要】
手势处理方法、交互控制方法及设备
本申请实施例涉及计算机
，具体地说，涉及一种手势处理方法、交互控制方法及设备。
技术介绍
在人机交互领域中，手势通常指人的手部运动，可以代表一种可以被智能设备识别的信息，例如，食指伸出，其他手指向手掌弯曲闭合时即为一种手势，该手势可以被赋予特定的手势信息，假定该手势对应的手势信息为点击操作，智能设备识别出该手势后即执行相应的点击操作。手势识别是通过数学算法识别手势信息，以使得智能设备可以理解人的手部运动，并基于手势信息实现人与智能设备的交互控制。现有技术中，手势识别时，通常采用数据手套采集手部数据。数据手套中内置的传感器可以在手部运动时感应手部运动数据。智能设备通过获取数据手套采集的手部运动数据，并对获得的手部运动数据进行分析处理，识别该手部运动数据对应的手势信息，进而基于手势信息完成设备交互。但是，如果通过数据手套采集手部运动数据，还需要为智能设备配置数据手套，造成智能交互设备的设备量的增加，进而增加设备的复杂程度。在实际使用中，由于数据手套的使用，也增加了使用难度，操作方式复杂，使用不便。
技术实现思路
有鉴于此，本申请提供了一种手势处理方法、交互控制方法及设备，以解决现有技术中需要数据手套等单独的感应设备来感应对应的运动数据，以实现智能设备的交互控制而导致设备成本增加的技术问题。为了解决上述技术问题，本申请第一方面提供了一种手势处理方法，包括：采集手部运动时的视频数据，并获取所述视频数据中的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至显示屏幕，获得对应的操作位置；其中，所述控制命令针对所述操作位置执行。第二方面本申请还提供一种交互控制方法，包括：采集手部运动时的视频数据，并所述视频数据的目标图像帧；提取目标图像帧的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定所述手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至显示屏幕，获得对应的操作位置；在所述操作位置执行所述控制命令。第三方面本申请还提供一种手势处理设备，包括：处理组件、与所述处理组件分别连接的存储组件以及显示组件；所述存储组件存储一条或多条计算机程序指令；所述一条或多条计算机程序指令用于被所述处理组件调用并执行；所述处理组件用于：采集手部运动时的视频数据，并获取所述视频数据的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定所述手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至所述显示组件，获得对应的操作位置；其中，所述控制命令针对所述操作位置执行。第四方面本申请还提供一种交互控制设备，包括：处理组件、与所述处理组件分别连接的存储组件以及显示组件；所述存储组件存储一条或多条计算机程序指令；所述一条或多条计算机程序指令用于被所述处理组件调用并执行；所述处理组件用于：采集手部运动时的视频数据，获取所述视频数据中的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定所述手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至所述显示组件，获得对应的操作位置；在所述显示组件的操作位置执行所述控制命令。本申请实施例中，可以通过采集手部运动时的视频数据，并获取视频数据中的目标图像帧，并针对目标图像帧，提取其手部特征以及确定所述手部的目标特征在所述目标图像帧中的目标位置。并在利用手势识别模型识别所述手部特征获得手势信息并确定手势信息对应的控制命令之后，在目标位置对应的显示屏幕处执行对应的控制命令。不再需要数据手套等外部感应设备采集用户的手部运动数据，而是使用摄像头采集用户在自然环境中的手部运动时的视频数据，并针对视频数据进行相应的手势识别处理进而可以降低设备复杂度，降低操作难度。同时，可以针对手部的目标特征在目标图像帧中的位置，可以实现手部对应操作位置的获取，可以实现准确的位置定位，提高控制精度。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请实施例提供的一种手势处理方法的一个实施例的流程图；图2是本申请实施例提供的多种手势的示例图；图3是本申请实施例提供的一种手势处理方法的一个实施例的流程图；图4是本申请实施例提供的一种交互控制方法的一个实施例的结构示意图；图5是本申请实施例提供的一种手势处理设备的一个实施例的结构示意图；图6是本申请实施例提供的一种交互控制设备的一个实施例的结构示意图。具体实施方式以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。本申请实施例主要应用于人机交互场景中，主要通过采集自然环境下的手部运动时的视频数据，以达到以简单设备实现智能交互控制的目的。现有技术中，多采用数据手套等方式对用户手部运动进行采集，进而针对采集的手部运动数据进行坐标映射等数据处理，完成相应的交互控制。但是这种方式，需要提供数据手套等额外的感应设备，设备复杂度较高，不利于交互场景的扩展。为了解决上述问题，专利技术人想到可以利用摄像头对用户的手部运动进行采集，以通过采集的图像进行动作识别，进而完成交互控制。据此，专利技术人提出了本申请的技术方案。本申请实施例中，主要是利用摄像头采集用户手部运动时的视频数据，并获取视频数据中的目标图像帧，继而可以针对目标图像帧，提取手部特征以及确定手部预定部位在所述目标图像帧中的目标位置，进而可以利用手势识别模型识别所述手部特征，获得手势信息，进而获得其对应的控制命令。在将目标位置映射到显示屏幕之后，在显示屏幕的操作位置处执行相应的控制命令。利用摄像头，在自然环境中采集用户手部运动视频数据以完成相应的交互控制，可以提供较为自然的交互场景。由于仅采用普通摄像头即可实现识别数据的采集，降低了设备的复杂度。采用映射方式精确确定用户在显示屏幕的准确位置进而可以准确执行交互过程，提高了交互的精确度以及准确度。下面将结合附图对本申请实施例进行详细描述。如图1所示，为本申请实施例提供的一种手势处理方法的一个实施例的流程图，该方法可以包括以下几个步骤：101：采集手部运动时的视频数据，并获取所述视频数据中的目标图像帧。本申请实施例提供的手势处理方法可以应用在智能设备中，所述智能设备可以是智能电视、智能冰箱、电脑等各种类型的智能设备中。所述智能设备可以包括显示屏幕，并可以在显示屏幕上显示按钮、对话框、文件、应用程序的图标等显示内容。用户可以通过手部运动在显示屏幕上执行点击、双极、滑动等操作，其中，点击、双极等操作主要是针对按钮、对话框以及应用程序的图标等显示内容的操作，滑动是用户手部在屏幕上的位置变化。本申请实施例的手势处理方法还可以应用在VR(VirtualReality，虚拟现实)设备、AR(AugmentedReality，增强现实)设备等虚拟智能设本文档来自技高网...

【技术保护点】
1.一种手势处理方法，其特征在于，包括：采集手部运动时的视频数据，并获取所述视频数据中的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至显示屏幕，获得对应的操作位置；其中，所述控制命令针对所述操作位置执行。

【技术特征摘要】
1.一种手势处理方法，其特征在于，包括：采集手部运动时的视频数据，并获取所述视频数据中的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至显示屏幕，获得对应的操作位置；其中，所述控制命令针对所述操作位置执行。2.根据权利要求1所述的方法，其特征在于，所述采集手部运动时的视频数据，获取所述视频数据中的目标图像帧之后，还包括：对所述目标图像帧进行图像分割，获得手部所在区域的手势图像；所述提取所述目标图像帧中的手部特征包括：提取所述手势图像中的手部特征；所述确定所述手部预定部位在所述目标图像帧中的目标位置包括：基于所述手势图像，确定手部预定部位在目标图像帧的目标位置。3.根据权利要求2所述的方法，其特征在于，所述基于所述手势图像，确定手部预定部位在目标图像帧的目标位置包括：确定所述手部预定部位在所述手势图像中的检测位置；基于所述手势图像与所述目标图像帧的分割关系，确定所述检测位置在所述目标图像帧中的目标位置。4.根据权利要求2所述的方法，其特征在于，所述提取所述手势图像中的手部特征包括：对所述手势图像进行颜色空间转换，获得目标转换图像；提取所述目标转换图像中的手部特征。5.根据权利要求3所述的方法，其特征在于，所述确定所述手部预定部位在所述手势图像中的检测位置包括：确定所述手部在所述手势图像中的封闭区域；获取所述封闭区域中至少一个指尖位置；根据所述至少一个指尖位置，获得所述手部预定部位在所述手势图像中的检测位置。6.根据权利要求5所述的方法，其特征在于，所述确定手部在所述手势图像中的封闭区域包括：利用轮廓检测算法，检测所述手势图像中的至少一个轮廓；确定所述至少一个轮廓中面积最大的目标轮廓；确定所述目标轮廓对应区域为所述手部在所述手势图像封闭区域。7.根据权利要求5所述的方法，其特征在于，所述获取所述封闭区域中至少一个指尖位置包括：利用凸缺陷检测算法检测所述封闭区域的轮廓对应的多个顶点；根据所述多个顶点中任意两个顶点的距离以及夹角对应关系，确定多个指尖点；分别确定所述多个指尖点在所述封闭区域中的多个指尖坐标，获得至少一个指尖位置。8.根据权利要求7所述的方法，其特征在于，所述手部预定部位包括所述用户手部的最高指尖点；所述根据所述至少一个指尖位置，获得所述手部预定部位在所述手势图像中的检测位置包括：确定所述多个指尖坐标中的最高指尖点的坐标为所述手部预定部位在所述手势图像中的检测位置。9.根据权利要求4所述的方法，其特征在于，所述提取所述目标转换图像中的手部特征包括：将所述目标转换图像进行高斯模糊去噪，获得去噪图像；将所述去噪图像...

【专利技术属性】
技术研发人员：冷芝莹，卢杨，王平平，于洋，梁晓辉，
申请(专利权)人：北京航空航天大学青岛研究院，
类型：发明
国别省市：山东,37