手势控制方法、装置、电子设备及计算机可读介质制造方法及图纸

本申请实施例提供了一种手势控制方法、装置、电子设备及计算机可读介质，涉及人工智能领域。其中,所述方法包括：对采集的视频帧图像进行基础特征提取，以获得视频帧图像的基础特征信息，其中，视频帧图像包括手部图像和手部连接部位的图像；基于视频帧图像的基础特征信息，获取手部连接部位的图像中的手部连接部位的特征信息；基于视频帧图像的基础特征信息和手部连接部位的特征信息，识别手部图像中的手部所对应的手势类别；基于手部所对应的手势类别，输出对应的设备控制信号对设备进行控制操作。通过本申请实施例，能够利用手部连接部位的特征信息识别手部所对应的手势，在节省手势识别的计算量和存储空间的同时保证手势识别的准确度。的准确度。的准确度。

【技术实现步骤摘要】
手势控制方法、装置、电子设备及计算机可读介质


[0001]本申请实施例涉及人工智能领域，尤其涉及一种手势控制方法、装置、电子设备及计算机可读介质。

技术介绍

[0002]随着计算机技术的发展，人机交互技术也得到了迅猛发展。目前较为成熟的人机交互方式具体包括：语音交互方式、手势交互方式、触控交互方式等。这些人机交互方式被应用于实现日常的功能，如音量、亮度、饱和度、温度、风速等参数的调节功能。目前，手势交互方式由于比较自然方便，在很多应用场景中具有很大的需求。在手势交互方式中需要进行手势识别。当前主流方案一般都是多阶段方法，例如，会包含人手检测模型、人手分类模型、人手跟踪模型等，这种方案的缺陷在于，计算量过大，占用存储空间太大，从而不适用于存储空间较少、计算能力非常受限的设备。由此可见，如何有效节省手势交互方式中手势识别的计算量和存储空间成为当前亟待解决的技术问题。

技术实现思路

[0003]本申请的目的在于提出一种手势控制方法、装置、电子设备及计算机可读介质，用于解决现有技术中存在的如何有效节省手势交互方式中手势识别的计算量和存储空间的技术问题。
[0004]根据本申请实施例的第一方面，提供了一种手势控制方法。所述方法包括：对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息，其中，所述视频帧图像包括手部图像和手部连接部位的图像；基于所述视频帧图像的基础特征信息，获取所述手部连接部位的图像中的手部连接部位的特征信息；基于所述视频帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势类别；基于所述手部所对应的手势类别，输出对应的设备控制信号对设备进行控制操作。
[0005]根据本申请实施例的第二方面，提供了一种控制方法，所述方法包括：对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息，其中，所述视频帧图像包括脚部图像和脚部连接部位的图像；基于所述视频帧图像的基础特征信息，获取所述脚部连接部位的图像中的脚部连接部位的特征信息；基于所述视频帧图像的基础特征信息和所述脚部连接部位的特征信息，识别所述脚部图像中的脚部所对应的类别；基于所述脚部所对应的类别，输出对应的设备控制信号对设备进行控制操作。
[0006]根据本申请实施例的第三方面，提供了一种手势控制方法。所述方法包括：将采集的视频帧图像输入至手势识别模型中，所述手势识别模型包括卷积模块、视觉注意力模块和手势类别识别模块，其中，所述视频帧图像包括手部图像和手部连接部位的图像；其中，所述卷积模块用于对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息；所述视觉注意力模块用于基于所述视频帧图像的基础特征信息，获取所述手部连接部位的图像中的手部连接部位的特征信息；所述手势类别识别模块用于基于所述视频
帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势类别；获取所述手势识别模型输出的所述手部图像中的手部所对应的手势类别；基于所述手部所对应的手势类别，输出对应的设备控制信号对设备进行控制操作。
[0007]根据本申请实施例的第四方面，提供了一种手势控制装置。所述装置包括：第一提取模块，用于对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息，其中，所述视频帧图像包括手部图像和手部连接部位的图像；第一获取模块，用于基于所述视频帧图像的基础特征信息，获取所述手部连接部位的图像中的手部连接部位的特征信息；第一识别模块，用于基于所述视频帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势类别；第一输出模块，用于基于所述手部所对应的手势类别，输出对应的设备控制信号对设备进行控制操作。
[0008]根据本申请实施例的第五方面，提供了一种手势控制装置。所述装置包括：输入模块，用于将采集的视频帧图像输入至手势识别模型中，所述手势识别模型包括卷积模块、视觉注意力模块和手势类别识别模块，其中，所述视频帧图像包括手部图像和手部连接部位的图像；其中，所述卷积模块用于对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息；所述视觉注意力模块用于基于所述视频帧图像的基础特征信息，获取所述手部连接部位的图像中的手部连接部位的特征信息；所述手势类别识别模块用于基于所述视频帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势类别；第二获取模块，用于获取所述手势识别模型输出的所述手部图像中的手部所对应的手势类别；第二输出模块，用于基于所述手部所对应的手势类别，输出对应的设备控制信号对设备进行控制操作。
[0009]根据本申请实施例的第六方面，提供了一种控制装置，所述装置包括：第二提取模块，用于对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息，其中，所述视频帧图像包括脚部图像和脚部连接部位的图像；第四获取模块，用于基于所述视频帧图像的基础特征信息，获取所述脚部连接部位的图像中的脚部连接部位的特征信息；第二识别模块，用于基于所述视频帧图像的基础特征信息和所述脚部连接部位的特征信息，识别所述脚部图像中的脚部所对应的类别；第三输出模块，用于基于所述脚部所对应的类别，输出对应的设备控制信号对设备进行控制操作。
[0010]根据本申请实施例的第七方面，提供了一种电子设备，包括：一个或多个处理器；计算机可读介质，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例的第一方面或者第三方面所述的手势控制方法，或者实现如上述实施例的第二方面所述的控制方法。
[0011]根据本申请实施例的第八方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例的第一方面或者第三方面所述的手势控制方法，或者实现如上述实施例的第二方面所述的控制方法。
[0012]根据本申请实施例提供的手势控制方案，对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息，其中，所述视频帧图像包括手部图像和手部连接部位的图像；基于所述视频帧图像的基础特征信息，获取所述手部连接部位的图像中的手部连接部位的特征信息；基于所述视频帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势类别；基于所述手部所对应的手势类别，
输出对应的设备控制信号对设备进行控制操作，与现有的其它方式相比，能够利用手部连接部位的特征信息识别手部所对应的手势，在节省手势交互方式中手势识别的计算量和存储空间的同时能有效保证手势交互方式中手势识别的准确度，从而使得本申请实施例提供的手势控制方案适用于存储空间较少、计算能力非常受限的设备。
附图说明
[0013]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0014]图1A为本申请实施例一中手势控制方法的步骤流程图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势控制方法，所述方法包括：对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息，其中，所述视频帧图像包括手部图像和手部连接部位的图像；基于所述视频帧图像的基础特征信息，获取所述手部连接部位的图像中的手部连接部位的特征信息；基于所述视频帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势类别；基于所述手部所对应的手势类别，输出对应的设备控制信号对设备进行控制操作。2.根据权利要求1所述的方法，其中，所述基础特征信息包括特征图，所述对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息，包括：对所述视频帧图像进行不同尺度的基础特征提取，以获得所述视频帧图像的多个不同尺度的特征图；所述对采集的视频帧图像进行基础特征提取之后，所述方法还包括：对所述视频帧图像的多个不同尺度的特征图进行特征融合，以获得所述视频帧图像的融合后的特征图。3.根据权利要求2所述的方法，其中，所述对所述视频帧图像的多个不同尺度的特征图进行特征融合，以获得所述视频帧图像的融合后的特征图，包括：通过特征金字塔的方式，对所述视频帧图像的多个不同尺度的特征图进行特征融合，以获得所述视频帧图像的融合后的特征图。4.根据权利要求1所述的方法，其中，所述基础特征信息包括特征图，且所述手部连接部位的特征信息包括所述手部连接部位的关键点的特征信息，所述基于所述视频帧图像的基础特征信息，获取所述手部连接部位的图像中的手部连接部位的特征信息，包括：对所述视频帧图像的特征图进行感兴趣区域的池化操作，以将所述感兴趣区域映射到所述特征图中得到所述手部连接部位的关键点的特征信息；基于所述手部连接部位的关键点的特征信息，确定所述手部连接部位的关键点的权重；基于所述手部连接部位的关键点的特征信息和权重，确定所述手部连接部位的关键点的加权后的特征信息。5.根据权利要求4所述的方法，其中，所述基于所述手部连接部位的关键点的特征信息，确定所述手部连接部位的关键点的权重，包括：对所述手部连接部位的关键点的特征向量进行降维处理，以获得所述手部连接部位的关键点对应的特征标量；对所述手部连接部位的关键点对应的特征标量进行归一化处理，以获得所述手部连接部位的关键点对应的特征标量的权重。6.根据权利要求5所述的方法，其中，所述对所述手部连接部位的关键点的特征向量进行降维处理，以获得所述手部连接部位的关键点对应的特征标量，包括：将所述手部连接部位的关键点的特征向量输入至输出维度为1维的全连接层，根据所
述全连接层的输出确定所述手部连接部位的关键点对应的特征标量。7.根据权利要求1所述的方法，其中，所述基础特征信息包括特征图，且所述手部连接部位的特征信息包括所述手部连接部位的关键点的特征信息，所述基于所述视频帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势类别，包括：将所述视频帧图像的特征图与所述手部连接部位的关键点的特征向量进行拼接，以获得所述视频帧图像的拼接后的特征图；基于所述视频帧图像的拼接后的特征图，识别所述手部图像中的手部所对应的手势类别。8.根据权利要求1所述的方法，其中，所述方法还包括：基于所述视频帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势的位置。9.根据权利要求8所述的方法，其中，所述基础特征信息包括特征图，且所述手部连接部位的特征信息包括所述手部连接部位的关键点的特征信息，所述基于所述视频帧图像的基础特征信息和所述手部连接部位的特征信息，识别所述手部图像中的手部所对应的手势的位置，包括：将所述视频帧图像的特征图与所述手部连接部位的关键点的特征向量进行拼接，以获得所述视频帧图像的拼接后的特征图；基于所述视频帧图像的拼接后的特征图，识别所述手部图像中的手部所对应的手势的位置。10.根据权利要求1所述的方法，其中，所述基于所述手部所对应的手势类别，输出对应的设备控制信号对设备进行控制操作，包括：基于预先配置的手势类别与设备控制信号的对应关系，确定与所述手势类别对应的设备控制信号，并输出对应的设备控制信号对设备进行控制操作。11.根据权利要求1所述的方法，其中，所述手部图像和所述手部连接部位的图像位于所述视频帧图像中的手势标记区域。12.一种控制方法，所述方法包括：对采集的视频帧图像进行基础特征提取，以获得所述视频帧图像的基础特征信息，其中，所述视频帧图像包括脚部图像和脚部连接部位的图像；基于所述视频帧图像的基础特征信息，获取所述脚部连接部位的图像中的脚部连接部位的特征信息；基于所述视频帧图像的基础特征信息和所述脚部连接部位...

【专利技术属性】
技术研发人员：刘宝龙，古鉴，邵柏韬，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：