用于识别手势移动方向的方法、装置、介质、程序及设备制造方法及图纸

本申请的实施方式公开了一种用于识别手势移动方向的方法、装置、介质、程序及设备，其中的方法包括：获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；根据所述手势位置变化确定手势移动方向。

【技术实现步骤摘要】
用于识别手势移动方向的方法、装置、介质、程序及设备
本申请涉及计算机视觉技术，尤其是涉及一种用于识别手势移动方向的方法、用于识别手势移动方向的装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
手势往往可以表达出一定的含义，利用手势来实现人机交互，例如，利用手势来控制电子设备显示内容、地图导航控制或者控制拍照时间等，有利于提高人机交互的实现灵活性。
技术实现思路
本申请实施方式提供一种用于识别手势移动方向的技术方案。根据本申请实施方式其中一个方面，提供一种用于识别手势移动方向的方法，所述方法包括：获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；根据所述手势位置变化确定手势移动方向。在本申请一实施方式中，所述视频中连续多个视频帧包括：从所述视频中的第n个视频帧开始，属于预定时间范围内，且包含有效手势的视频帧。在本申请又一实施方式中，所述手势信息还包括：覆盖手势的手势检测框，所述手势位置包括：手势检测框在显示所述手势的界面上的坐标。在本申请再一实施方式中，所述获取视频中连续多个视频帧的手势信息包括：将所述连续多个视频帧输入用于手势检测的神经网络，由所述神经网络对所述多个视频帧分别进行手势检测；根据所述神经网络输出的信息，获得所述多个视频帧的手势信息。在本申请再一实施方式中，所述根据所述手势位置确定所述多个视频帧的手势位置变化包括：根据所述多个视频帧中的第一个视频帧和最后一个视频帧的手势检测框的位置确定手势检测框的偏移值，所述偏移值包括x坐标方向偏移值和y坐标方向偏移值。在本申请再一实施方式中，所述根据所述手势位置变化确定手势移动方向包括：在判断出所述x坐标方向偏移值超过x坐标方向移动最小距离，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向左移动。在本申请再一实施方式中，所述根据所述手势位置变化确定手势移动方向包括：在判断出所述x坐标方向偏移值小于x坐标方向移动最小距离的负数，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向右移动。在本申请再一实施方式中，所述根据所述手势位置变化确定手势移动方向包括：在判断出所述y坐标方向偏移值超过y坐标方向移动最小距离，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定所述手势移动方向为向上移动。在本申请再一实施方式中，所述根据所述手势位置变化确定手势移动方向包括：在判断出所述y坐标方向偏移值小于y坐标方向移动最小距离的负数，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定所述手势移动方向为向下移动。在本申请再一实施方式中，所述方法还包括：根据手势检测框的宽度与显示屏宽度的比值确定所述x坐标方向移动最小距离和/或y坐标方向移动最小距离；或者，根据手势检测框的高度与显示屏高度的比值确定所述x坐标方向移动最小距离和/或y坐标方向移动最小距离；其中，所述显示屏为与所述摄像装置连接，并播放所述视频的显示屏。根据本申请实施方式其中另一方面，提供一种用于识别手势移动方向的装置，所述装置包括：获取手势信息模块，用于获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；确定手势位置变化模块，用于在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；确定手势移动方向模块，用于根据所述手势位置变化确定手势移动方向。在本申请一实施方式中，所述视频中连续多个视频帧包括：从所述视频中的第n个视频帧开始，属于预定时间范围内，且包含有效手势的视频帧。在本申请又一实施方式中，所述手势信息还包括：覆盖手势的手势检测框，所述手势位置包括：手势检测框在显示所述手势的界面上的坐标。在本申请再一实施方式中，所述获取手势信息模块进一步用于：将所述连续多个视频帧输入用于手势检测的神经网络，由所述神经网络对所述多个视频帧分别进行手势检测；根据所述神经网络输出的信息，获得所述多个视频帧的手势信息。在本申请再一实施方式中，所述确定手势位置变化模块进一步用于：根据所述多个视频帧中的第一个视频帧和最后一个视频帧的手势检测框的位置确定手势检测框的偏移值，所述偏移值包括x坐标方向偏移值和y坐标方向偏移值。在本申请再一实施方式中，所述确定手势移动方向模块进一步用于：在判断出所述x坐标方向偏移值超过x坐标方向移动最小距离，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向左移动。在本申请再一实施方式中，所述确定手势移动方向模块进一步用于：在判断出所述x坐标方向偏移值小于x坐标方向移动最小距离的负数，且y坐标方向偏移值的绝对值小于x坐标方向波动值的情况下，确定所述手势移动方向为向右移动。在本申请再一实施方式中，所述确定手势移动方向模块进一步用于：在判断出所述y坐标方向偏移值超过y坐标方向移动最小距离，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定所述手势移动方向为向上移动。在本申请再一实施方式中，所述确定手势移动方向模块进一步用于：在判断出所述y坐标方向偏移值小于y坐标方向移动最小距离的负数，且x坐标方向偏移值的绝对值小于y坐标方向波动值的情况下，确定所述手势移动方向为向下移动。在本申请再一实施方式中，所述装置还包括：确定最小距离模块，用于根据手势检测框的宽度与显示屏宽度的比值确定所述x坐标方向移动最小距离和/或y坐标方向移动最小距离；或者，根据手势检测框的高度与显示屏高度的比值确定所述x坐标方向移动最小距离和/或y坐标方向移动最小距离；其中，所述显示屏为与所述摄像装置连接，并播放所述视频的显示屏。根据本申请实施方式再一个方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求中任一项所述的方法。根据本申请实施方式再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一方法实施方式。根据本申请实施方式的再一个方面，提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本申请任一方法实施方式。基于本申请提供的用于识别手势移动方向的方法、用于识别手势移动方向的装置、电子设备、计算机可读存储介质及计算机程序，本申请通过在确定出连续的多个视频帧的手势类型未发生变化的情况下，根据手势位置变化确定出手势移动方向，从而可以根据手势移动方向对智能电子设备进行控制，实现人机交互。由此可知，本申请提供的技术方案有利于提高人机交互的灵活性。下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。附图说明构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：图1为本申请的用于识别手势移动方向的方法一实施方式的流程图；图2为本申请的用于识别手势移动方向的装置一实施方式的结构示意图；图3为实现本申请实施方式的一示例性设备的框图。具体实施方式现在将参照附图来详细描述本文档来自技高网...

【技术保护点】
1.一种用于识别手势移动方向的方法，其特征在于，包括：获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；根据所述手势位置变化确定手势移动方向。

【技术特征摘要】
1.一种用于识别手势移动方向的方法，其特征在于，包括：获取视频中连续多个视频帧的手势信息，所述手势信息包括：手势类型和手势位置；在所述多个视频帧的手势类型均为同一手势类型的情况下，根据所述手势位置确定所述多个视频帧的手势位置变化；根据所述手势位置变化确定手势移动方向。2.根据权利要求1所述的方法，其特征在于，所述视频中连续多个视频帧包括：从所述视频中的第n个视频帧开始，属于预定时间范围内，且包含有效手势的视频帧。3.根据权利要求1或2所述的方法，其特征在于，所述手势信息还包括：覆盖手势的手势检测框，所述手势位置包括：手势检测框在显示所述手势的界面上的坐标。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取视频中连续多个视频帧的手势信息包括：将所述连续多个视频帧输入用于手势检测的神经网络，由所述神经网络对所述多个视频帧分别进行手势检测；根据所述神经网络输出的信息，获得所述多个视频帧的手势信息。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述手势位置确定所述多个视频帧的手势位置变化包括：根据所述多个视频帧中的第一个视频帧和最后一个视频帧的手势检测框的位置确定手势检测框的偏移值，所述偏...

【专利技术属性】
技术研发人员：曾文良，王贵杰，王灿彬，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44