手势识别方法及装置、计算机可读存储介质、终端制造方法及图纸

一种手势识别方法及装置、计算机可读存储介质、终端，方法包括：获取第一图像的手部区域；对手部区域进行特征点识别，得到N个特征点的坐标，其中，N个特征点包括参考特征点和其他特征点；根据N个特征点的坐标，计算手势信息，手势信息包括：第一手势信息和第二手势信息，其中，第一手势信息包括至少一个其他特征点相对于参考特征点的位置，第二手势信息包括手指的弯曲角度；将手势信息输入至预先训练得到的第一手势识别模型，以得到第一手势识别模型输出的静态手势类别。本申请提供了一种性能优化的手势识别方法。的手势识别方法。的手势识别方法。

【技术实现步骤摘要】
手势识别方法及装置、计算机可读存储介质、终端


[0001]本申请涉及图像处理
，尤其涉及一种手势识别方法及装置、计算机可读存储介质、终端。

技术介绍

[0002]在人机交互的场景中，除了传统的触屏交互，还出现了基于手势识别技术的交互。手势识别技术是通过计算机视觉技术来识别用户的手势，终端根据用户的手势进行响应。随着扩展现实(Extended Reality，简称XR)技术的发展，未来手势识别技术的应用将越来越广泛。
[0003]在实际应用中，手势识别的效果容易图像质量的影响，识别的效果并不稳定，容易出现识别不准确、识别时长过长等问题。因此，亟需一种性能更加优化的手势识别方法。

技术实现思路

[0004]本申请的技术目的之一在于提供一种性能更加有优化的手势识别方法。
[0005]为解决上述技术问题，本申请实施例提供一种手势识别方法，所述方法包括：获取第一图像的手部区域；对所述手部区域进行特征点识别，得到N个特征点的坐标，其中，所述N个特征点包括参考特征点和其他特征点；根据所述N个特征点的坐标，计算手势信息，所述手势信息包括：第一手势信息和第二手势信息，其中，所述第一手势信息包括至少一个其他特征点相对于所述参考特征点的位置，所述第二手势信息包括手指的弯曲角度；将所述手势信息输入至预先训练得到的第一手势识别模型，以得到所述第一手势识别模型输出的静态手势类别。
[0006]可选的，所述第一手势识别模型的训练方法包括：获取第一初始模型和多组第一训练样本，其中，每组第一训练样本包括：样本手势信息和预先标注的静态手势类别；采用所述多组第一训练样本对所述第一初始模型进行训练，直至模型收敛，得到所述第一手势识别模型。
[0007]可选的，所述N个特征点分布于多根手指上，根据所述N个特征点的坐标，计算手势信息包括：根据每个手指上的多个特征点中第一特征点、第二特征点和第三特征点的坐标，计算该手指的弯曲角度；其中，所述第一特征点为距离手掌最近的特征点，所述第三特征点为距离手掌最远的特征点，所述第二特征点位于所述第一特征点和第三特征点之间。
[0008]可选的，所述方法还包括：如果所述第一手势识别模型输出的静态手势类别为动态触发类别，则获取第二图像；获取起始坐标和终止坐标，其中，所述起始坐标为所述第一图像的所述N个特征点中至少一部分特征点的坐标的平均值，所述终止坐标为所述第二图像中所述至少一部分特征点的坐标的平均值；将所述起始坐标和终止坐标输入至预先训练得到的第二手势识别模型，以得到所述第二手势识别模型输出的动态手势类别。
[0009]可选的，所述第二手势识别模型的训练方法包括：获取第二初始模型和多组第二训练样本，其中，每组第二训练样本包括：样本起始坐标、样本终止坐标和预先标注的动态
手势类别；采用所述多组第二训练样本对所述第二初始模型进行训练，直至模型收敛，得到所述第二手势识别模型。
[0010]可选的，如果连续识别到所述动态触发类别的次数达到次数阈值，且所述N个特征点的坐标变化小于位移阈值，则获取所述第二图像。
[0011]可选的，获取第一图像的手部区域包括：将所述第一图像输入至预先训练的手部目标检测模型，得到所述手部目标检测模型输出的手部区域。
[0012]可选的，对所述手部区域进行特征点识别包括：将所述手部区域输入至预先训练的特征点识别模型，得到所述特征点识别模型输出的N个特征点的坐标。
[0013]为了解决上述技术特征，本申请实施例还提供一种手势识别装置，所述装置包括：获取模块，用于获取第一图像的手部区域；特征点识别模块，用于对所述手部区域进行特征点识别，得到N个特征点的坐标，其中，所述N个特征点包括参考特征点和其他特征点；计算模块，用于根据所述N个特征点的坐标，计算手势信息，所述手势信息包括：第一手势信息和第二手势信息，其中，所述第一手势信息包括至少一个其他特征点相对于所述参考特征点的位置，所述第二手势信息包括手指的弯曲角度；静态识别模块，用于将所述手势信息输入至预先训练得到的第一手势识别模型，以得到所述第一手势识别模型输出的静态手势类别。
[0014]本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的手势识别方法的步骤。
[0015]本申请实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的手势识别方法的步骤。
[0016]与现有技术相比，本申请实施例的技术方案具有以下有益效果：
[0017]本申请实施例的方案中，获取第一图像的手部区域；对手部区域进行特征点识别，得到N个特征点的坐标，其中，N个特征点包括参考特征点和其他特征点；根据N个特征点的坐标计算手势信息，手势信息包括：第一手势信息和第二手势信息，其中，第一手势信息包括至少一个其他特征点相对于参考特征点的位置，第二手势信息包括手指的弯曲角度；将手势信息输入至预先训练得到的第一手势识别模型，以得到第一手势识别模型输出的静态手势类别。
[0018]上述方案中，先提取手部区域的N个特征点，然后根据N个特征点的坐标计算第一手势信息和第二手势信息，由于第一手势信息包括其他特征点相对于参考特征点的位置，第二手势信息包括手指的弯曲角度，因此手势信息不仅可以体现手指的方向信息，还可以体现手指的姿势信息，也即，手势信息包含有丰富的手势相关的特征信息。进一步，将第一手势信息和第二手势信息输入至预先训练得到的第一手势识别模型，由第一手势识别模型根据手势信息进行推理计算，得到第一图像中手势区域的手势类别。上述方案采用深度学习方法对手势信息进行推理以实现手势识别，识别精度更高、识别效率更快、泛化性能更好。
[0019]进一步，本申请实施例的方案中，根据每个手指上第一特征点、第二特征点和第三特征点的坐标计算手势的弯曲角度，其中，第一特征点为距离手掌最近的特征点，第三特征点为距离手掌最远的特征点，第二特征点位于所述第一特征点和第三特征点之间。采用这
样的方案可以通过各种手势下弯曲程度最大的关节角度作为手指的弯曲角度，有利于突出手势的特征，提高手势识别的准确度。
[0020]进一步，本申请实施例的方案中，如果第一手势识别模型输出的静态手势类别为动态触发类别，则获取第二图像；获取起始坐标和终止坐标，其中，起始坐标为第一图像的N个特征点中至少一部分特征点的坐标的平均值，终止坐标为所述第二图像中至少一部分特征点的坐标的平均值；将起始坐标和终止坐标输入至预先训练得到的第二手势识别模型，以得到动态手势类别。采用这样的方案，可以基于第一图像和第二图像的采集时刻之间手部的移动进行推理，得到动态手势类别。
附图说明
[0021]图1是本申请实施例中一种手势识别方法的流程示意图；
[0022]图2是本申请实施例中一种特征点的分布示意图；
[0023]图3是本申请实施例中另一种特征点分布的示意图；
[0024]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，所述方法包括：获取第一图像的手部区域；对所述手部区域进行特征点识别，得到N个特征点的坐标，其中，所述N个特征点包括参考特征点和其他特征点；根据所述N个特征点的坐标，计算手势信息，所述手势信息包括：第一手势信息和第二手势信息，其中，所述第一手势信息包括至少一个其他特征点相对于所述参考特征点的位置，所述第二手势信息包括手指的弯曲角度；将所述手势信息输入至预先训练得到的第一手势识别模型，以得到所述第一手势识别模型输出的静态手势类别。2.根据权利要求1所述的手势识别方法，其特征在于，所述第一手势识别模型的训练方法包括：获取第一初始模型和多组第一训练样本，其中，每组第一训练样本包括：样本手势信息和预先标注的静态手势类别；采用所述多组第一训练样本对所述第一初始模型进行训练，直至模型收敛，得到所述第一手势识别模型。3.根据权利要求1所述的手势识别方法，其特征在于，所述N个特征点分布于多根手指上，根据所述N个特征点的坐标，计算手势信息包括：根据每个手指上的多个特征点中第一特征点、第二特征点和第三特征点的坐标，计算该手指的弯曲角度；其中，所述第一特征点为距离手掌最近的特征点，所述第三特征点为距离手掌最远的特征点，所述第二特征点位于所述第一特征点和第三特征点之间。4.根据权利要求1所述的手势识别方法，其特征在于，所述方法还包括：如果所述第一手势识别模型输出的静态手势类别为动态触发类别，则获取第二图像；获取起始坐标和终止坐标，其中，所述起始坐标为所述第一图像的所述N个特征点中至少一部分特征点的坐标的平均值，所述终止坐标为所述第二图像中所述至少一部分特征点的坐标的平均值；将所述起始坐标和终止坐标输入至预先训练得到的第二手势识别模型，以得到所述第二手势识别模型输出的动态手势类别。5.根据权利要求4所述的手势识别方法，其特征在于，所述第二手势识别模型的训练方法包括：获取第...

【专利技术属性】
技术研发人员：陈纬，刘志坚，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：