手势识别方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种手势识别方法、装置、设备和存储介质，一种手势识别方法，包括：获取摄像头拍摄的图像帧；对图像帧进行图像检测，确定图像帧中人体所在区域；将人体所在区域输入第一机器学习模型进行分类计算，得到分类为正脸的人体在区域；在图像帧中，根据分类为正脸的人体所在区域，确定手部潜在区域；将手部潜在区域输入第二机器学习模型进行回归计算，得到图像帧中的手势识别结果。本发明专利技术实施例提供的手势识别方法、装置、设备和存储介质，用于提高手势识别的速度和准确性。

【技术实现步骤摘要】
手势识别方法、装置、设备和存储介质
本专利技术实施例涉及图像处理技术，尤其涉及一种手势识别方法、装置、设备和存储介质。
技术介绍
对智能设备传统的控制都是通过外部的输入设备进行的，例如与智能设备匹配的遥控器、触摸面板等，但这些都需要为智能设备配置额外的外部输入设备。随着人工智能技术的发展，手势识别技术已经成为对智能设备进行控制的热点。通过手势识别技术可以使用户更加便捷、高效地对智能设备进行控制。手势识别方法是通过对智能设备拍摄到的图像进行图像识别，从而判断图像中是否存在预设的控制手势。但智能设备的手势识别方法需要对智能设备拍摄到的图像进行精确、快速的识别，这就导致目前的手势识别方法较为复杂，在高性能的计算平台上才能实现精确、快速的手势识别。但出于对成本的考虑，智能设备广泛地采用低成本的嵌入式计算平台，计算资源较为有限，导致目前的手势识别方法无法广泛地应用于智能设备中。
技术实现思路
本专利技术提供一种手势识别方法、装置、设备和存储介质，用于提高手势识别的计算速度和准确性。第一方面，本专利技术实施例提供一种手势识别方法，包括：获取摄像头拍摄的图像帧；对所述图像帧进行图像检测，确定所述图像帧中人体所在区域；将所述人体所在区域输入第一机器学习模型进行分类计算，得到分类为正脸的人体所在区域；在所述图像帧中，根据所述分类为正脸的人体所在区域，确定手部潜在区域；将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果。在第一方面一种可能的实现方式中，所述将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果，包括：将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果和所述回归计算的置信度；所述将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果之后，所述方法还包括：若所述置信度小于预设阈值，则确定所述手部潜在区域中不包括手势信息，忽略所述手势识别结果。在第一方面一种可能的实现方式中，所述将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果，包括：将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果和手部所在区域；将所述手部所在区域输入第三机器学习模型进行分类计算，得到手势分类结果，若所述手势分类结果与所述手势识别结果不同，则将所述手势分类结果作为最终手势识别结果。在第一方面一种可能的实现方式中，所述对所述图像帧进行图像检测，确定所述图像帧中人体所在区域，包括：将所述图像帧进行缩放处理，得到多个不同尺度的图像帧；在所述多个尺度的图像帧中，以预设尺寸和步长选择多个人体搜索区域；将所述多个人体搜索区域输入训练后的人体检测分类器，将得到的人体检测分类结果为人体的人体搜索区域在所述图像帧中对应的区域作为人体所在区域。在第一方面一种可能的实现方式中，所述在所述图像帧中，根据所述分类为正脸的人体所在区域，确定手部潜在区域，包括：在所述图像帧中，利用人体的先验知识，根据所述分类为正脸的人体所在区域，确定手部潜在区域。在第一方面一种可能的实现方式中，所述人体所在区域，包括：人体头部所在区域、人体头肩部所在区域、人体上半身所在区域、人体全身所在区域中的至少一种。在第一方面一种可能的实现方式中，所述第一机器学习模型和所述第二机器学习模型为低参数神经网络，所述低参数神经网络中使用1×1卷积核对神经网络进行降维处理，以减少参数数量。在第一方面一种可能的实现方式中，所述第三机器学习模型为低参数神经网络，所述低参数神经网络中使用1×1卷积核对神经网络进行降维处理，以减少参数数量。第二方面，本专利技术实施例提供一种手势识别装置，包括：图像获取模块，用于获取摄像头拍摄的图像帧；人体检测模块，用于对所述图像帧进行图像检测，确定所述图像帧中人体所在区域；正脸识别模块，用于将所述人体所在区域输入第一机器学习模型进行分类计算，得到分类为正脸的人体所在区域；手部识别模块，用于在所述图像帧中，根据所述分类为正脸的人体所在区域，确定手部潜在区域；手势识别模块，用于将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果。在第二方面一种可能的实现方式中，所述手势识别模块，具体用于将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果和所述回归计算的置信度；手势识别装置还包括：手势验证模块，用于若所述置信度小于预设阈值，则确定所述手部潜在区域中不包括手势信息，忽略所述手势识别结果。在第二方面一种可能的实现方式中，所述手势识别模块，具体用于将将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果和手部所在区域；将所述手部所在区域输入第三机器学习模型进行分类计算，得到手势分类结果，若所述手势分类结果与所述手势识别结果不同，则将所述手势分类结果作为最终手势识别结果。在第二方面一种可能的实现方式中，所述人体检测模块，具体用于将所述图像帧进行缩放处理，得到多个不同尺度的图像帧；在所述多个尺度的图像帧中，以预设尺寸和步长选择多个人体搜索区域；将所述多个人体搜索区域输入训练后的人体检测分类器，将得到的人体检测分类结果为人体的人体搜索区域在所述图像帧中对应的区域作为人体所在区域。在第二方面一种可能的实现方式中，所述手部识别模块，具体用于在所述图像帧中，利用人体的先验知识，根据所述分类为正脸的人体所在区域，确定手部潜在区域。在第二方面一种可能的实现方式中，所述人体所在区域，包括：人体头部所在区域、人体头肩部所在区域、人体上半身所在区域、人体全身所在区域中的至少一种。在第二方面一种可能的实现方式中，所述第一机器学习模型和所述第二机器学习模型为低参数神经网络，所述低参数神经网络中使用1×1卷积核对神经网络进行降维处理，以减少参数数量。在第二方面一种可能的实现方式中，所述第三机器学习模型为低参数神经网络，所述低参数神经网络中使用1×1卷积核对神经网络进行降维处理，以减少参数数量。第三方面，本专利技术实施例提供一种手势识别设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一种可能的实现方式的手势识别方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一种可能的实现方式的手势识别方法。本专利技术实施例提供的手势识别方法、装置、设备和存储介质，通过获取摄像头拍摄的图像帧，对图像帧进行图像检测，确定图像帧中人体在区域，将人体所在区域输入第一机器学习模型进行分类计算，得到分类为正脸的人体所在区域，在图像帧中，根据分类为正脸的人体所在区域，确定手部潜在区域，将手部潜在区域输入第二机器学习模型进行回归计算，得到图像帧中的手势识别结果，有效地减低了手势识别的计算量，提高计算速度，便于手势识别方法应用于低能力的计算平台中，还提高了手势识别的准确性。附图说明图1为本专利技术实施例提供的手势识别方法实施例一的流程图；图2为用户进行手势操作的示意图；图3为头部所在区域和手部潜在区域的相对位置关系示意图；图4为本专利技术实施例提供的手本文档来自技高网...

【技术保护点】
1.一种手势识别方法，其特征在于，包括：获取摄像头拍摄的图像帧；对所述图像帧进行图像检测，确定所述图像帧中人体所在区域；将所述人体所在区域输入第一机器学习模型进行分类计算，得到分类为正脸的人体所在区域；在所述图像帧中，根据所述分类为正脸的人体所在区域，确定手部潜在区域；将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果。

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：获取摄像头拍摄的图像帧；对所述图像帧进行图像检测，确定所述图像帧中人体所在区域；将所述人体所在区域输入第一机器学习模型进行分类计算，得到分类为正脸的人体所在区域；在所述图像帧中，根据所述分类为正脸的人体所在区域，确定手部潜在区域；将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果。2.根据权利要求1所述的方法，其特征在于，所述将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果，包括：将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果和所述回归计算的置信度；所述将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果之后，所述方法还包括：若所述置信度小于预设阈值，则确定所述手部潜在区域中不包括手势信息，忽略所述手势识别结果。3.根据权利要求1或2所述的方法，其特征在于，所述将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果，包括：将所述手部潜在区域输入第二机器学习模型进行回归计算，得到所述图像帧中的手势识别结果和手部所在区域；将所述手部所在区域输入第三机器学习模型进行分类计算，得到手势分类结果，若所述手势分类结果与所述手势识别结果不同，则将所述手势分类结果作为最终手势识别结果。4.根据权利要求1或2所述的方法，其特征在于，所述对所述图像帧进行图像检测，确定所述图像帧中人体所在区域，包括：将所述图像帧进行缩放处理，得到多个不同尺度的图像帧；在所述多个尺度的图像帧中，以预设尺寸和步长选择多个人体搜索区域；将所述多个人体搜索区域输入训练后的人体检测分类器，将得到的人体检测分类结果为人体的人体搜索区域在所述图像帧中对应的区域作为人体所在区域。5.根据权利要求1或2所述的方法，其特征在于，所述在所述图像帧中，根据所述分类为正脸的人体所在区域，确定手部潜在区域，包括：在所述图像帧中，利用人体的先验知识，根据所述分类为正脸的人体所在区域，确定手部潜在区域。6.根据权利要求1或2所述的方法，其特征在于，所述人体所在区域，包括：人体头部所在区域、人体头肩部所在区域、人体上半身所在区域、人体全身所在区域中的至少一种。7.根据权利要求1或2所述的方法，其特征在于，所述第一机器学习模型和所述第二机器学习模型为低参数神经网络，所述低参数神经网络中使用1×1卷积核对神经网络进行降维处理，以减少参数数量。8.根据权利要求3所述的方法，其特征在于，所述第三机器学习模型为低参数神经网络，所述低参数神经网络中使用1×1卷积核对神经网络进行降维处理，以减少参数数量。9.一种手势识别装置，其特征在于，包括：图像获取模块，用于获取摄像头拍摄的图像帧；...

【专利技术属性】
技术研发人员：李佩易，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海,31