一种手势识别的方法技术

本发明专利技术提供一种手势识别的方法，包括：S1，手部识别，通过识别手部检测神经网络，检测出所有手部所在位置；S2，手部关键点识别，将步骤S1中识别出的手部信息传入手部关键点检测神经网络，检测出手部的21个关键点的信息，分别记为关键点1、关键点2、

【技术实现步骤摘要】
一种手势识别的方法


[0001]本专利技术涉及视频处理
，特别涉及一种手势识别的方法。

技术介绍

[0002]随着人工智能的发展，将手势识别技术发展成为遥控工具，让用户可以灵活、随心所欲地与周围的数码设备互动成为了新的目标。现有技术中，手势图像信息由一个或多个摄像头采集，采集的数据进行预处理，包括去噪和信息增强。然后，利用分割算法获取图像中的目标手势。通过视频处理和分析得到当前手势的分类和描述，最后通过手势识别算法对目标手势进行识别。基于手势的手势识别主要由手势分割、手势分析和手势识别三部分组成。然而，目前存在的一些手势识别方法复杂耗时，对技术要求较高。

技术实现思路

[0003]为了解决上述现有技术中的问题，本申请的目的在于：通过本申请中的手势识别的检测方式，解决识别过程复杂，识别精度不高的问题。
[0004]具体地，本专利技术提供一种手势识别的方法，所述方法包括：
[0005]S1，手部识别，通过识别手部检测神经网络检测出所有手部所在位置；
[0006]S2，手部关键点识别，将步骤S1中识别出的手部信息传入手部关键点检测神经网络，检测出手部的21个关键点的信息，分别记为关键点0、关键点1、
……
关键点20；
[0007]S3，手势识别，建立手势位置坐标，进一步包括：
[0008]S3.1，区分左右手：分别通过表示食指根部位置的关键点5记为x5与中指根部位置的关键点9记为x9、关键点9与无名指根部位置的关键点13记为x
13r/>、关键点13与小拇指根部位置的关键点17记为x
17
的x坐标关系来判断左右手，即：
[0009]当x5<x9，x9<x
13
，x
13
<x
17
同时满足时，判断为左手；
[0010]当x5>x9，x9>x
13
，x
13
>x
17
同时满足时，判断为右手；
[0011]S3.2，关键点校准：区分出左右手后，分别根据左右手的手部标准关键点坐标，将检测出的手部关键点进行校准，所述手部标准关键点表示手指全部向上的关键点即手部竖直图像中手部关键点，坐标中以所述手部标准关键点作为基准，对检测出的手部关键点进行校准；
[0012]S3.3，判断手指状态：根据手指的对应关键点的坐标位置关系，判断各个手指的状态是打开状态还是闭合状态；
[0013]S3.4，判断手势：通过五个手指的状态来判断手势。
[0014]所述步骤S1中检测出所有手部所在位置，进一步包括：
[0015]手部检测神经网络为应用大量含有手部的图片数据并通过监督学习的方法即大量数据的迭代训练出的一个数学模型，该模型能够准确且有效的得出图片中手部位置，这个模型的输入就是图片，输出结果就是手部在图片中的位置；
[0016]如图2所示，用图片来解释，将图片输入到手部检测神经网络中，网络的最终输出
是框定手部轮廓的矩形框的左上角和右下角的坐标x0，y0，x1，y1，这就得到了图片中手掌的所在区域及位置，其中卷积神经网络计算过程是一系列的乘加运算，模型中的参数都是通过长时间大量数据不断优化迭代出来的，训练的手部检测模型即卷积神经网络的输出就是图片中手部区域矩形框的左上右下坐标。
[0017]所述步骤S2中所述手部关键点检测神经网络，进一步包括：
[0018]利用卷积神经网络，训练一个检测手部关键点位置信息的网络模型，如图3所示，网络输出是42个数，其中，因一个点的表示为[x,y]需要俩个数，所以21个关键点对应的就是42个数，可以表示为x0[x,y],x1[x,y],
……
,x
20
[x,y],21个关键点的坐标信息,所述S1步骤检测出人体手部区域后，将手部区域抠出来，如图4所示，将图片输入到关键点卷积神经网络，即得到想要的手部关键点的信息，所述21个关键点均位于手掌掌心一侧。
[0019]所述步骤S3.2中所述的手部标准关键点以竖直展开的手部图片中标注的关键点为基准参考，如图4所示。
[0020]所述步骤S3.2中所述的校准，进一步包括：
[0021]如果图片中手部图像是具有一定角度的手掌，例如横向的如图5所示，也就是图4旋转了90度，我们就把这种关键点转化成如图4所示的竖直的图像中的手部标准关键点，因为后部分的逻辑处理是建立在手部标准关键点上的，转化的过程：通过求出非标准手势关键点与手部标准关键点的变换矩阵，直接用非标准的关键点乘以变换矩阵，就可以将有角度的手掌关键点转化成标准的(竖直)的关键点，这个就是所说的“校准”。
[0022]所述步骤S3.3进一步包括：
[0023](1)食指
[0024]使用表示食指第一关节部的关键点6、食指第二关节部的关键点7、食指指尖的关键点8、中指第一关节部的关键点10、中指第二关节部的关键点11、中指指尖的关键点12的x和y坐标来判断：
[0025]当y7<y6,y8<y6,x6<x
10
,x7<x
11
,x8<x
12
同时满足时，
[0026]或y7<y6,y8<y6,x6>x
10
,x7>x
11
,x8>x
12
同时满足时，食指状态为打开状态，其他情况下均为闭合状态；
[0027]所述图像坐标系主要基于二维图像，如图6所示，使用的是横向为x轴,纵向为y轴，以左上角定点为(0,0)点，x的值越往右越大，y的值越往下越大，例如以上y7<y6，y8<y6，相当于y6点要低于y7和y8，如果满足，则认为该手指状态为打开，后面的判断条件x6<x
10
，x7<x
11
，x8<x
12
的作用是为了更严谨一些，用于区分左右手；
[0028](2)中指
[0029]使用表示食指第一关节部的关键点6、食指第二关节部的关键点7、食指指尖的关键点8、中指第一关节部的关键点10、中指第二关节部的关键点11、中指指尖的关键点12的x和y坐标来判断：
[0030]当y
11
<y
10
,y
12
<y
10
,x
10
<x6,x
11
<x7,x
12
<x8同时满足时，
[0031]或y
11
...

【技术保护点】

【技术特征摘要】
1.一种手势识别的方法，其特征在于，所述方法包括以下步骤：S1，手部识别，通过识别手部检测神经网络检测出所有手部所在位置；S2，手部关键点识别，将步骤S1中识别出的手部信息传入手部关键点检测神经网络，检测出的21个手部关键点的信息，分别记为关键点0、关键点1、
……
关键点20；S3，手势识别，建立手势位置坐标，进一步包括：S3.1，区分左右手：分别通过表示食指根部位置的关键点5记为x5与中指根部位置的关键点9记为x9、关键点9与无名指根部位置的关键点13记为x
13
、关键点13与小拇指根部位置的关键点17记为x
17
的x坐标关系来判断左右手，即：当x5<x9，x9<x
13
，x
13
<x
17
同时满足时，判断为左手；当x5>x9，x9>x
13
，x
13
>x
17
同时满足时，判断为右手；S3.2，关键点校准：区分出左右手后，分别根据左右手的手部标准关键点坐标，将检测出的手部关键点进行校准；S3.3，判断手指状态：根据手指的对应关键点的坐标位置关系，判断各个手指的状态是打开状态还是闭合状态；S3.4，判断手势：通过五个手指的状态来判断手势。2.根据权利要求1所述的一种手势识别的方法，其特征在于，所述步骤S1中检测出所有手部所在位置，进一步包括：所述手部检测神经网络为应用大量含有手部的图片数据并通过监督学习的方法即大量数据的迭代训练出的一个数学模型，该模型能够得出图片中手部位置，这个模型的输入是图片，输出结果是手部在图片中的位置；将图片输入到手部检测神经网络中检测，其中，模型中的参数通过长时间大量数据不断优化迭代出来，训练手部检测模型；手部检测的神经网络的最终输出是框定手部轮廓的矩形框的左上角和右下角的坐标x0，y0，x1，y1，这得到了图片中手部的所在区域及位置，即卷积神经网络的输出就是图片中手部区域矩形框的左上右下坐标。3.根据权利要求2所述的一种手势识别的方法，其特征在于，所述步骤S2中所述手部关键点检测神经网络，进一步包括：利用卷积神经网络，训练一个用于检测所述手部关键点的位置信息的网络模型，网络输出是42个数，表示为x0[x,y],x1[x,y],
……
,x
20
[x,y],21个关键点的坐标信息,S1步骤检测出人体手部区域后，将手部区域抠出，将抠出的图片输入到关键点卷积神经网络，即得到想要的手部关键点的信息。4.根据权利要求1所述的一种手势识别的方法，其特征在于，所述21个关键点，关键点均位于手掌掌心一侧，包括：关键点0：记为x0，取手腕中心点；关键点1：记为x1，取手腕中心点与大拇指根部位置的中心点；关键点2：记为x2，取大拇指根部位置的点，关键点3：记为x3，取大拇指根部与大拇指指尖之间的关节部的点；关键点4：记为x4，取大拇指指尖位置的点；关键点5：记为x5，取食指根部位置的点；关键点6：记为x6，取食指根部与食指指尖之间的第一关节部的点；
关键点7：记为x7，取食指根部与食指指尖之间的第二关节部的点；关键点8：记为x8，取食指指尖位置的点；关键点9：记为x9，取中指根部位置的点；关键点10：记为x
10
，取中指根部与中指指尖之间的第一关节部的点；关键点11：记为x
11
，取中指根部与中指指尖之间的第二关节部的点；关键点12：记为x
12
，取中指指尖位置的点；关键点13：记为x
13
，取无名中指根部位置的点；关键点14：记为x
14
，取无名指根部与无名指指尖之间的第一关节部的点；关键点15：记为x
15
，取无名指根部与无名指指尖之间的第二关节部的点；关键点16：记为x
16
，取无名指指尖位置的点；关键点17：记为x
17
，取小拇指指根部位置的点；关键点18：记为x
18
，取小拇指指根部与小拇指指尖之间的第一关节部的点；关键点19：记为x
19
，取小拇指指根部与小拇指指尖之间的第二关节部的点；关键点20：记为x
20
，取小拇指指尖位置的点。5.根据权利要求4所述的一种手势识别的方法，其特征在于，所述步骤S3.2中所述的手部标准关键点以竖直展开的手部图片中标注的关键点作为基准。6.根据权利要求5所述的一种手势识别的方法，其特征在于，所述步骤S3.2中所述的校准，包括：如果图片中手部图像是与竖直方向具有角度的手掌即非标准手势，则需要调整为竖直的手部图片，把这种关键点转化成竖直手部图像中的手部标准关键点，其转化的过程即为校准：通过求出非标准手势关键点与手部标准关键点的变换矩阵，直接用非标准的手部关键点乘以变换矩阵，就能够将与竖直方向有角度的手部关键点转化成竖直的手部标准关键点。7.根据权利要求4所述的一种手势识别的方法，其特征在于，所述步骤S3.3进一步包括：手指的打开状态依据图像坐标系中检测出的手部关键点的y坐标的大小关系判断，依据x值判断分出左右手和手心或手背；其中，(1)食指使用表示食指第一关节部的关键点6、食指第二关节部的关键点7、食指指尖的关键点8、中指第一关节部的关键点10、中指第二关节部的关键点11、中指指尖的关键点12的x和y坐标来判断：当y7<y6,y8<y6,x6<x
10
,x7<x
11
,x8<x
12
同时满足时，或y7<y6,y8<y6,x6>x
10
,x7>x
11
,x8>x
12
同时满足时，食指状态为打开状态，...

【专利技术属性】
技术研发人员：闫少甫，
申请(专利权)人：北京君正集成电路股份有限公司，
类型：发明
国别省市：