一种手势识别方法、装置、设备和介质制造方法及图纸

本发明专利技术提供一种手势识别方法、装置、设备和介质，方法包括：S1、获取单帧图像，检测单帧图像中手部的手部三维关键点，得到手部三维关键点集合P；S2、旋转所述手部三维关键点到标准空间角度上，得到标准空间角度点集Q；S3、计算手部关节三维向量；S4、计算手部关节三维向量之间的余弦相似度；S5、根据所述关节余弦相似度匹配相同手势模板，输出匹配结果。本发明专利技术只需单张手势模板图片数据集的情况下即可保证算法对手势识别的可靠性和稳定性，从而为用户自定义手势和手势更新提供了技术基础。自定义手势和手势更新提供了技术基础。自定义手势和手势更新提供了技术基础。

【技术实现步骤摘要】
一种手势识别方法、装置、设备和介质


[0001]本专利技术涉及手势识别
，特别涉及一种手部的手势识别方法、装置、设备和介质。

技术介绍

[0002]目前手势识别技术的流程如图1所示，一般包括下述步骤：首先对输入图片执行手部目标检测，获得手部ROI(Region ofinterest)，再将手部ROI图像输入手势分类判别模型，获得手势分类结果。
[0003]当前主流的手势识别算法中，手势分类判别通常基于深度学习模型分类的方式。为了训练手势分类模型，通常需要数以万计的不同场景下不同手势的图片数据来作为数据集。通过大量手势图片数据集训练手势分类模型，并使用手势分类模型对手势图片进行分类。该方法对数据集的数量和质量要求较高，且无法对手势进行在线更新。
[0004]工程实践中存在数据集获取成本高、数据机制作周期久，新增手势需要大量新手势数据等问题，如果能有一种算法，在只有单张手势模板图片数据集的情况下保证算法对手势识别的可靠性和稳定性，从而为用户自定义手势和手势更新提供了技术基础，很有意义。

技术实现思路

[0005]本专利技术要解决的技术问题，在于提供一种手势识别方法、装置、设备和介质，只需单张手势模板图片数据集的情况下即可保证算法对手势识别的可靠性和稳定性，从而为用户自定义手势和手势更新提供了技术基础。
[0006]第一方面，本专利技术提供了一种手势识别方法，包括下述步骤：
[0007]S1、获取单帧图像，检测单帧图像中手部的手部三维关键点，得到手部三维关键点集合P；<br/>[0008]S2、旋转所述手部三维关键点到标准空间角度上，得到标准空间角度点集Q；
[0009]S3、计算手部关节三维向量；
[0010]S4、计算手部关节三维向量之间的余弦相似度；
[0011]S5、根据所述关节余弦相似度匹配相同手势模板，输出匹配结果。。
[0012]第二方面，本专利技术提供了一种手势识别装置，包括：
[0013]关键点检测模块，用于检测单帧图像中手部的手部三维关键点，得到手部三维关键点集合P；
[0014]转换模块，用于将所述手部三维关键点旋转到标准空间角度上，得到标准空间角度点集Q；
[0015]向量计算模块，用于计算手部关节三维向量；
[0016]相似度计算模块，用于计算手部关节三维向量之间的余弦相似度；
[0017]匹配模块，用于根据所述关节余弦相似度匹配相同手势模板，输出匹配结果。
[0018]第三方面，本专利技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
[0019]第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
[0020]本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：通过检测手部三维关键点，基于手部三维关键点计算三维向量，并通过计算手部关节三维向量之间的余弦相似度来匹配手势。本方法摆脱了基于分类模型的手势识别需要大量数据集训练模型的不足，同时具有近似手势区分能力较强，新增手势简单，算法实现简便且运行速度快等优势。其中，通过Rogrigues旋转校正手部三维关键点到标准空间角度，大幅提高了算法对同一手势在不同相机视角下的识别成功率。
[0021]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0022]下面参照附图结合实施例对本专利技术作进一步的说明。
[0023]图1为本专利技术实施例一中方法中的流程图；
[0024]图2为本专利技术实施例中手部三维关键点集合P的示意图；
[0025]图3为本专利技术实施例中旋转控制点的初始点集和标准空间角度上的目标点集的示意图；
[0026]图4为本专利技术实施例中手部关节三维向量的示意图；
[0027]图5为本专利技术实施例中手部关节三维向量之间的余弦相似度计算状态示意图；
[0028]图6为本专利技术实施例中根据关节余弦相似度匹配手势模板的状态示意图；
[0029]图7为本专利技术实施例二中装置的结构示意图；
[0030]图8为本专利技术实施例三中电子设备的结构示意图；
[0031]图9为本专利技术实施例四中介质的结构示意图。
具体实施方式
[0032]本申请实施例通过提供一种手势识别方法、装置、设备和介质，只需单张手势模板图片数据集的情况下即可保证算法对手势识别的可靠性和稳定性，从而为用户自定义手势和手势更新提供了技术基础。
[0033]本申请实施例中的技术方案，总体思路如下：通过检测单帧图像中手部的手部三维关键点(使用神经网络mediapipe hands检测)，得到手部三维关键点集合P；基于手部三维关键点计算手部关节三维向量，并通过计算手部关节三维向量之间的余弦相似度来匹配手势。本方法摆脱了基于分类模型的手势识别需要大量数据集训练模型的不足，同时具有近似手势区分能力较强，新增手势简单，算法实现简便且运行速度快等优势。其中，通过Rogrigues旋转校正手部三维关键点到标准空间角度，大幅提高了算法对同一手势在不同相机视角下的识别成功率。
[0034]实施例一
[0035]如图1所示，本实施例提供一种手势识别方法，包括下述步骤：
[0036]S1、获取单帧图像，检测单帧图像中手部的手部三维关键点，得到手部三维关键点集合P；
[0037]S2、旋转所述手部三维关键点到标准空间角度上，得到标准空间角度点集Q；
[0038]S3、计算手部关节三维向量；
[0039]S4、计算手部关节三维向量之间的余弦相似度；
[0040]S5、根据所述关节余弦相似度匹配相同手势模板，输出匹配结果。
[0041]所述手部三维关键点的检测通过神经网络mediapipe hands进行；神经网络Mediapipe hands能从单帧中推断出手部关键点的x轴、y轴坐标以及z轴深度坐标，从而获得初始手部关键点坐标，以21个三维坐标点(x,y,z)表示。
[0042]如图2所示，所述手部三维关键点包括掌腕关节、掌指关节、指间关节以及手指末梢共21个节点，记为{A,B,C,...,U}，则手部三维关键点集合P表示为P＝{A,B,C,...,U}；
[0043]所述手部关节三维向量对应掌骨或指骨的任一关节。
[0044]所述S2具体是：
[0045]如图3所示，在手部三维关键点集合P＝{A,B,C,...,U}选出三个旋转控制点，得到旋转控制点的初始点集P
tri
＝{A,J,R}，如图3的(a)所示，所述初始点集P
tri
＝{A,J,R}对应于标准空间角度上的目标点集Q
...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于：包括下述步骤：S1、获取单帧图像，检测单帧图像中手部的手部三维关键点，得到手部三维关键点集合P；S2、旋转所述手部三维关键点到标准空间角度上，得到标准空间角度点集Q；S3、计算手部关节三维向量；S4、计算手部关节三维向量之间的余弦相似度；S5、根据所述关节余弦相似度匹配相同手势模板，输出匹配结果。2.根据权利要求1所述的方法，其特征在于：所述手部三维关键点的检测通过神经网络mediapipe hands进行；所述手部三维关键点包括掌腕关节、掌指关节、指间关节以及手指末梢共21个节点，记为{A，B，C，...，U}，则手部三维关键点集合P表示为P＝{A，B，C，...，U}；所述手部关节三维向量对应掌骨或指骨的任一关节。3.根据权利要求2所述的方法，其特征在于：所述S2具体是：在手部三维关键点集合P＝{A，B，C，...，U}选出三个旋转控制点，得到旋转控制点的初始点集P
tri
＝{A，J，R}，所述初始点集P
t，i
＝{A，J，R}对应于标准空间角度上的目标点集Q
tri
＝{A
std
，J
std
，R
std
}；其中，A和A
std
对应于掌腕关节，J和J
std
对应于中指的掌指关节，R和R
std
则对应于小指的掌指关节；则，手部三维关键点的标准空间角度定义为：点A
std
为坐标原点；点J
std
在Y轴正半轴上；点R
std
位于X
‑
Y轴平面上，即：A
std
＝(0，0，0)J
std
＝(0，y
j
，0)R
std
＝(x
r
，y
r
，0)计算标准空间角度上的点A
std
、点L
std
、点R
std
坐标后，求解点A、点J、点R与点A
std
、点L
std
、点R
std
之间的单应矩阵H：之间的单应矩阵H：之间的单应矩阵H：对单应矩阵H进行SVD分解，求得P
tri
到Q
tri
的旋转变换矩阵R和平移变换向量T：[U，S，V]＝SVD(H)R＝VU
T
对所述手部三维关键点集合P＝{A，B，C，...，U}应用Rodrigues旋转变换，获得标准空间角度点集Q＝{A，B，C，...，U}，即：Q＝RP+T。
4.根据权利要求2所述的方法，其特征在于：所述S3具体是：对标准空间角度点集合Q，将所述手部三维关键点集合P＝{A，B，C，...，U}的21个点按手指分为五组手指点，分别为：Thumb＝{A，B，C，D，E}Indexfinger＝{A，F，G，H，I}Middlefinger＝{A，J，K，L，M}Ringfinger＝{A，N，O，P，Q}Pinky＝{A，R，S，T，U}；由点坐标计算每组手指点的手部关节三维向量，得到：所述S4具体是：将当前手势的手部关节三维向量与模板库中的手势模板对应位置上的手部关节三维向量分别计算余弦相似度S
i
；单个手部关节三维向量的余弦相似度计算结果S
i
的范围为[
‑
1，1]，1，1]，S
i
越大表示关节三维向量之间的相似度越高，S
i
＝1表示表示向量A和向量B方向完全相同，S
i
＝
‑
1表示向量A和向量B方向完全相反；则手势之间的关节向量余弦相似度集合S定义为：所述S5具体是：当手势之间的关节向量余弦相似度集合S中，所有手部关节三维向量的相似度S
i
都大于阈值t时，则用下面公式计算整个手势的整体相似度M：N＝20，并将对应的手势模板作为备选手势；若整个手势中，有某一手部关节三维向量的相似度S
i
低于阈值t，直接判断整个手势的整体相似度M＝0，并过滤对应的手势模板；当模板库中所有的手势模板匹配完毕后，在所有备选手势中取相似度M值最大的手势模板作为匹配结果对外输出。5.一种手势识别装置，其特征在于：包括：关键点检测模块，用于检测单帧图像中手部的手部三维关键点，得到手部三维关键点集合P；转换模块，用于将所述手部三维关键点旋转到标准空间角度...

【专利技术属性】
技术研发人员：何凯航，吴振文，卢云飞，高如正，陈碧英，
申请(专利权)人：福建星网天合智能科技有限公司，
类型：发明
国别省市：