手势识别方法、电子装置、手势识别系统和存储介质制造方法及图纸

本申请涉及一种手势识别方法、电子装置、手势识别系统和存储介质，通过根据目标对象的三维姿态信息，构建目标对象的左右两侧躯干中至少其中一侧躯干的投影平面，以及确定左右两手中至少其中一只手的指向向量；确定第一手的指向向量与第一躯干的投影平面之间的空间位置关系，第一手为左右两手中最靠近第一躯干的手；根据空间位置关系确定第一手是否处于指向状态，解决了相关技术中无法准确区分左右手指向手势的问题，实现了独立并行地识别左右手指向手势。向手势。向手势。

【技术实现步骤摘要】
手势识别方法、电子装置、手势识别系统和存储介质


[0001]本申请涉及人体三维姿态检测领域，特别是涉及一种手势识别方法、电子装置、手势识别系统和存储介质。

技术介绍

[0002]指向手势，作为人们交流和交互中高频率出现的动作语言，为日常生活中的方位、场所和物品指代提供了高效的表达方式。现有机器人在操作某些物品、导航场所路径、避障一些方向时，需要工程师通过程序提前规划既定任务目标。随着服务机器人的快速发展，人们与机器人的交互方式呈现多模态的趋势，人们通过指向手势可以快速、便捷和自然地告诉机器人当前任务的指代目标。近年来，随着计算机视觉、深度学习和RGB
‑
D立体相机技术的迅猛发展，机器人从第一视角完整捕捉人体的三维姿态成为可能。然而，人体指向手势存在左手和右手并行、指向角度变化范围大、动作背景复杂等难题，传统的手势识别方法，无法稳定识别左右手指向，容易出现识别错误的情况。
[0003]针对相关技术中存在无法准确区分左右手指向手势的问题，目前还没有提出有效的解决方案。

技术实现思路

[0004]在本实施例中提供了一种手势识别方法、电子装置、手势识别系统和存储介质，以解决相关技术中无法准确区分左右手指向手势的问题。
[0005]第一个方面，在本实施例中提供了一种手势识别方法，包括：
[0006]根据目标对象的三维姿态信息，构建所述目标对象的左右两侧躯干中至少其中一侧躯干的投影平面，以及确定左右两手中至少其中一只手的指向向量；
[0007]确定第一手的指向向量与第一躯干的投影平面之间的空间位置关系，所述第一手为所述左右两手中最靠近所述第一躯干的手；
[0008]根据所述空间位置关系确定所述第一手是否处于指向状态。
[0009]在其中的一些实施例中，根据所述空间位置关系确定所述第一手是否处于指向状态，包括：
[0010]若所述第一手的指向向量处于所述第一躯干的投影平面外，则判定所述第一手处于指向状态；或者，
[0011]若所述第一手的指向向量处于所述第一躯干的投影平面内，且所述第一手的指向向量与所述第一躯干的投影平面内的基向量之间的夹角满足第一约束规则，则判定所述第一手处于指向状态。
[0012]在其中的一些实施例中，所述方法还包括：若所述第一手的指向向量与所述第一躯干的投影平面的法向量之间的夹角满足第二约束规则，则判定所述第一手的指向向量处于所述第一躯干的投影平面外；或者，
[0013]若所述第一手的指向向量与所述第一躯干的投影平面的法向量之间的夹角满足
第三约束规则，则判定所述第一手的指向向量处于所述第一躯干的投影平面内。
[0014]在其中的一些实施例中，在确定第一手的指向向量与第一躯干的投影平面之间的空间位置关系，根据所述空间位置关系确定所述第一手是否处于指向状态之前，所述方法还包括：
[0015]根据所述目标对象的三维姿态信息，确定靠近所述第一躯干的大臂向量与小臂向量之间的夹角；
[0016]若所述大臂向量与小臂向量之间的夹角满足第四约束规则，则确定所述第一手的指向向量与所述第一躯干的投影平面之间的空间位置关系，根据所述空间位置关系确定所述第一手是否处于指向状态。
[0017]在其中的一些实施例中，所述方法还包括：若所述大臂向量与小臂向量之间的夹角不满足所述第四约束规则，则判定所述第一手不处于指向状态。
[0018]在其中的一些实施例中，所述目标对象的三维姿态信息包括靠近所述第一躯干的肩关节的关键点三维坐标、肘关节的关键点三维坐标和手关节的关键点三维坐标，根据所述肩关节的关键点三维坐标和所述肘关节的关键点三维坐标，确定所述第一手的大臂向量，根据所述肩关节的关键点三维坐标和所述手关节的关键点三维坐标，确定所述第一手的小臂向量。
[0019]在其中的一些实施例中，所述方法还包括：获取至少一种角度阈值，其中，所述角度阈值通过采集人体指向动作统计得到；
[0020]根据所述角度阈值确定相应约束规则，其中包括：根据垂直角度阈值确定第一约束规则；或者，根据平面角度阈值确定第二约束规则；或者，根据平面角度阈值确定第三约束规则；或者，根据直线角度阈值确定第四约束规则。
[0021]在其中的一些实施例中，所述目标对象的三维姿态信息包括左肩关节的关键点三维坐标、右肩关节的关键点三维坐标和靠近所述第一手的髋关节的关键点三维坐标，根据所述左肩关节的关键点三维坐标、所述右肩关节的关键点三维坐标和所述髋关节的关键点三维坐标，构建所述第一躯干的投影平面；或者，
[0022]所述目标对象的三维姿态信息包括左肩关节的关键点三维坐标、右肩关节的关键点三维坐标、左髋关节的关键点三维坐标和右髋关节的关键点三维坐标，根据所述左肩关节的关键点三维坐标、所述右肩关节的关键点三维坐标、所述左髋关节的关键点三维坐标和所述右髋关节的关键点三维坐标，构建总投影平面，并将所述总投影平面的其中一半分割为所述第一躯干的投影平面。
[0023]在其中的一些实施例中，所述目标对象的三维姿态信息包括靠近所述第一手的肩关节的关键点三维坐标、肘关节的关键点三维坐标和手关节的关键点三维坐标，根据所述肩关节的关键点三维坐标、所述肘关节的关键点三维坐标和所述手关节的关键点三维坐标，确定所述第一手的指向向量；或者，
[0024]所述目标对象的三维姿态信息包括靠近所述第一手的肩关节的关键点三维坐标和手关节的关键点三维坐标，根据所述肩关节的关键点三维坐标和所述手关节的关键点三维坐标，确定所述第一手的指向向量；或者，
[0025]所述目标对象的三维姿态信息包括靠近所述第一手的肘关节的关键点三维坐标和手关节的关键点三维坐标，根据所述肘关节的关键点三维坐标和所述手关节的关键点三
维坐标，确定所述第一手的指向向量。
[0026]在其中的一些实施例中，在根据目标对象的三维姿态信息，构建所述目标对象的左右两侧躯干中至少其中一侧躯干的投影平面之前，所述方法还包括：
[0027]获取包含有所述目标对象的影像的可见光图像和深度图像；
[0028]根据所述可见光图像，得到所述目标对象的二维姿态信息；
[0029]根据所述深度图像，确定各所述对象的二维姿态所对应的深度值，根据所述目标对象的二维姿态信息和所述深度值，得到所述目标对象的三维姿态信息。
[0030]第二个方面，在本实施例中提供了一种电子装置，包括：包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述第一方面所述的手势识别方法。
[0031]第三个方面，在本实施例中提供了一种手势识别系统，包括：图像采集设备和上述第二方面所述的电子装置备，所述图像采集设备与电子装置连接，所述图像采集设备能够采集可见光图像和深度图像。
[0032]第四个方面，在本实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一个方面所述的手势识别方法的步骤。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：根据目标对象的三维姿态信息，构建所述目标对象的左右两侧躯干中至少其中一侧躯干的投影平面，以及确定左右两手中至少其中一只手的指向向量；确定第一手的指向向量与第一躯干的投影平面之间的空间位置关系，所述第一手为所述左右两手中最靠近所述第一躯干的手；根据所述空间位置关系确定所述第一手是否处于指向状态。2.根据权利要求1所述的手势识别方法，其特征在于，根据所述空间位置关系确定所述第一手是否处于指向状态，包括：若所述第一手的指向向量处于所述第一躯干的投影平面外，则判定所述第一手处于指向状态；或者，若所述第一手的指向向量处于所述第一躯干的投影平面内，且所述第一手的指向向量与所述第一躯干的投影平面内的基向量之间的夹角满足第一约束规则，则判定所述第一手处于指向状态。3.根据权利要求2所述手势识别方法，其特征在于，所述方法还包括：若所述第一手的指向向量与所述第一躯干的投影平面的法向量之间的夹角满足第二约束规则，则判定所述第一手的指向向量处于所述第一躯干的投影平面外；或者，若所述第一手的指向向量与所述第一躯干的投影平面的法向量之间的夹角满足第三约束规则，则判定所述第一手的指向向量处于所述第一躯干的投影平面内。4.根据权利要求1所述的手势识别方法，其特征在于，在确定第一手的指向向量与第一躯干的投影平面之间的空间位置关系，根据所述空间位置关系确定所述第一手是否处于指向状态之前，所述方法还包括：根据所述目标对象的三维姿态信息，确定靠近所述第一躯干的大臂向量与小臂向量之间的夹角；若所述大臂向量与小臂向量之间的夹角满足第四约束规则，则确定所述第一手的指向向量与所述第一躯干的投影平面之间的空间位置关系，根据所述空间位置关系确定所述第一手是否处于指向状态。5.根据权利要求4所述的手势识别方法，其特征在于，所述方法还包括：若所述大臂向量与小臂向量之间的夹角不满足所述第四约束规则，则判定所述第一手不处于指向状态。6.根据权利要求4所述的手势识别方法，其特征在于，所述目标对象的三维姿态信息包括靠近所述第一躯干的肩关节的关键点三维坐标、肘关节的关键点三维坐标和手关节的关键点三维坐标，根据所述肩关节的关键点三维坐标和所述肘关节的关键点三维坐标，确定所述第一手的大臂向量，根据所述肩关节的关键点三维坐标和所述手关节的关键点三维坐标，确定所述第一手的小臂向量。7.根据权利要求2至5至任一项所述的手势识别方法，其特征在于，所述方法还包括：获取至少一种角度阈值，其中，所述角度阈值通过采集人体指向动作统计得到；根据所述角度阈值确定相应约束规则，其中包括：根据垂直角度阈值确定第一约束规则；或者，根据平面角度阈值确定第二约束规则；或者，根据平面...

【专利技术属性】
技术研发人员：郭方泰，朱世强，宋伟，寄珊珊，顾建军，林哲远，
申请(专利权)人：之江实验室，
类型：发明
国别省市：