动态手势识别方法、装置及相关设备、手写识别方法制造方法及图纸

本申请提供一种动态手势识别方法、装置及相关设备，手写识别方法，以提高对动态手势识别的准确性。动态手势识别方法包括：对于连续多帧手部图像中的每一帧所述手部图像，确定该手部图像中各手部关键点在空间中的三维坐标；基于各所述手部图像对应的所述三维坐标，分别确定各所述手部图像的静态手势和各所述手部图像中手的运动参数；所述运动参数表征连续多帧所述手部图像中手的运动情况；基于连续多帧所述手部图像各自的所述手的运动参数与所述静态手势确定动态手势。通过上述动态手势识别方法，可以提高对动态手势识别的准确性。可以提高对动态手势识别的准确性。可以提高对动态手势识别的准确性。

【技术实现步骤摘要】
动态手势识别方法、装置及相关设备、手写识别方法


[0001]本申请涉及图像处理领域，具体而言，涉及一种动态手势识别方法、装置及相关设备、手写识别方法。

技术介绍

[0002]包括手部的视频或连续多帧图像可以用于识别动态手势。
[0003]然而，相较于静态手势，动态手势更为复杂，各方式对动态手势进行识别的准确率较低。例如，利用神经网络对动态手势识别时，由于神经网络通常是使用特定手势图像进行训练，无法对特定手势之外的其他手势进行识别，且对于相似的手势难以区分，因此，存在识别准确率较低的问题。再例如，利用RGB（Red Green Blue，红绿蓝，一种色彩模式）图像识别动态手势时，可能无法对手部各部分进行准确区分，以及无法计算各关节所呈现的角度，从而使得对动态手势的识别准确率较低。

技术实现思路

[0004]有鉴于此，本申请旨在提供一种动态手势识别方法、装置及相关设备、手写识别方法，以提高对动态手势识别的准确性。
[0005]第一方面，本申请实施例提供一种动态手势识别方法，包括：对于连续多帧手部图像中的每一帧所述手部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态手势识别方法，其特征在于，包括：对于连续多帧手部图像中的每一帧所述手部图像，确定该手部图像中各手部关键点在空间中的三维坐标；所述三维坐标基于所述手部图像对应的双目视差图确定；基于各所述手部图像对应的所述三维坐标，分别确定各所述手部图像的静态手势和各所述手部图像中手的运动参数；所述运动参数表征连续多帧所述手部图像中手的运动情况；基于连续多帧所述手部图像各自的所述手的运动参数与所述静态手势确定动态手势；所述动态手势包括瞬时动态手势和持续动态手势；所述持续动态手势基于连续预设帧数所述手部图像对应的瞬时动态手势确定；所述瞬时动态手势用于表征在单帧所述手部图像中所述手所属的运动行为；所述持续动态手势表征连续多帧所述手部图像中所述手所属的运动行为。2.根据权利要求1所述的动态手势识别方法，其特征在于，所述确定该手部图像中各手部关键点在空间中的三维坐标，包括：获取双目相机采集的同一帧的两幅手部图像；通过预设匹配模型对所述两幅手部图像进行匹配，得到所述双目视差图；基于预设的深度计算公式和所述双目视差图确定深度图；基于预设提取模型从所述深度图中提取手部区域；基于预设关键点检测算法，识别所述手部区域中手部关键点的三维坐标。3.根据权利要求2所述的动态手势识别方法，其特征在于，所述通过预设匹配模型对手部图像进行匹配之前，所述方法还包括：对所述两幅手部图像进行极线矫正。4.根据权利要求2所述的动态手势识别方法，其特征在于，所述手部区域中包括多只手，所述预设提取模型为YOLO模型；所述基于预设提取模型从所述深度图中提取手部区域之后，所述方法还包括：基于所述YOLO模型识别所述手部区域中不同的手及各手的类型；所述手的类型包括左手或右手。5.根据权利要求4所述的动态手势识别方法，其特征在于，所述识别所述手部区域中不同的手之后，所述方法还包括：对任意相邻两帧所述手部图像各自的手部区域中的不同的手进行目标跟踪，以使相邻两帧所述手部图像中的相同手匹配。6.根据权利要求5所述的动态手势识别方法，其特征在于，所述基于所述运动参数与所述静态手势确定动态手势，包括：将左手的静态手势和运动参数、右手的静态手势和运动参数与预设双手动态手势库进行匹配，确定双手动态手势；所述预设双手动态手势库包括所述双手动态手势与所述左手的静态手势和运动参数、所述右手的静态手势和运动参数之间的对应关系。7.根据权利要求1所述的动态手势识别方法，其特征在于，所述基于各所述手部图像对应的所述三维坐标，分别确定各所述手部图像的静态手势和各所述手部图像中手的运动参数，包括：对于每一帧所述手部图像，基于该手部图像中各手部关键点的所述三维坐标计算各手指的手指弯曲度；
基于手指弯曲度与手指状态之间的预设对应关系和所述手指弯曲度，确定各手指状态；将所述各手指状态与预设的静态手势库进行匹配，确定所述手部图像对应的静态手势，所述静态手势库包括各所述手指状态与所述静态手势的对应关系。8.根据权利要求7所述的动态手势识别方法，其特征在于，所述基于该手部图像中各手部关键点的所述三维坐标计算各手指的手指弯曲度，包括：对于同一手指，确定掌心至该手指指尖的路径中，由相邻两手部关键点组成的多个向量；计算各所述向量之间的夹角；计算该手指中各向量之间夹角的夹角和，所述夹角和为该手指的手指弯曲度。9.根据权利要求8所述的动态手势识别方法，其特征在于，所述预设对应关系包括大拇指弯曲度与大拇指弯曲状态之间的对应关系，所述基于手指弯曲度与手指状态之间的预设对应关系和所述手指弯曲度，确定各手指状态，包括：若所述夹角和对应的手指为大拇指，则将所述夹角和与第一阈值进行对比；若所述夹角和小于或等于所述第一阈值，则确定所述大拇指处于弯曲状态；若所述夹角和大于所述第一阈值，则所述大拇指处于伸直状态。10.根据权利要求8所述的动态手势识别方法，其特征在于，所述预设对应关系包括除大拇指外的其余四指的弯曲度与弯曲状态之间的对应关系，所述基于手指弯曲度与手指状态之间的预设对应关系和所述手指弯曲度，确定各手指状态，包括：若所述夹角和对应的手指为所述其余四指中的任意一个手指，则将该手指所述夹角和依次与第二阈值、第三阈值和第四阈值进行对比，确定该手指的弯曲状态；其中，所述第二阈值小于所述第三阈值，所述第三阈值小于所述第四阈值；若所述夹角和小于或等于所述第二阈值，则确定该手指处于伸直状态；若所述夹角和在所述第二阈值和所述第三阈值之间，则该手指处于弯曲状态；若所述夹角和在所述第三阈值和所述第四阈值之间，则该手指处于抓状态；若所...

【专利技术属性】
技术研发人员：王杨，
申请(专利权)人：芯原微电子上海股份有限公司，
类型：发明
国别省市：