基于固定背景下的手势识别方法及系统技术方案

本发明专利技术涉及计算机视觉技术领域，具体公开一种基于固定背景下的手势识别方法，包括以下步骤：S1、将手势识别背景固定为黑色背景，进行黑色背景建模；S2、获取人手伸入时的图像，基于建立好的背景建模，使用背景减除来获得人手的前景图像；S3、对所述前景图像中的人手进行凸包与凸缺陷检测，获得当前人手的大体姿态；S4、利用图像细化算法获取人手的骨架，获得人手的基本结构，从而估算出当前人手的闭合程度；S5、根据当前人手的闭合程度控制机器人的手掌闭合。本发明专利技术具有系统计算量小、对硬件配置要求低，有效解决对人手进行细微的识别与姿态估计的问题、识别人手的闭合程度的有益效果。

Gesture Recognition Method and System Based on Fixed Background

The invention relates to the field of computer vision technology, and specifically discloses a gesture recognition method based on a fixed background, which includes the following steps: S1, fixing the background of gesture recognition as a black background, and modeling the black background; S2, acquiring the image when the hand reaches in, using background subtraction to obtain the foreground image of the hand based on the established background model; S3, and the foreground. The human hand in the image is detected by convex hull and convex defect to obtain the general gesture of the current human hand; S4, the skeleton of the human hand is obtained by image thinning algorithm, and the basic structure of the human hand is obtained, thus the closure degree of the current human hand is estimated; S5, the closure of the robot's hand is controlled according to the closure degree of the current human hand. The invention has the advantages of small system calculation amount, low requirement for hardware configuration, effective solution to the problem of fine recognition and attitude estimation of human hand, and beneficial effect of recognizing the closure degree of human hand.

【技术实现步骤摘要】
基于固定背景下的手势识别方法及系统
本专利技术涉及计算机视觉
，特别涉及一种基于固定背景下的手势识别方法及系统。
技术介绍
手势识别技术是最为重要的人机交互技术之一，通过对人手势的识别来让机器人更好的理解人的意图与命令。当今常用的手势识别技术是采用3D相机来实现，利用3D相机独有的深度信息来简化手势识别与跟踪的处理。常用的3D相机有微软的Kinect、英特尔的RealSense传感器等，这两家的SDK中都有各自的手势识别技术供使用。但是为了能使用两种传感器，需要硬件板卡具有很高的配置，这在提升机器人成本的同时也增加了集成的困难。同时对于一些特定的任务或场景，手势识别的背景或环境可以人为限制，不需要使用3D传感器来完成相应的任务。本专利技术提出了一种新的基于固定背景下的手势识别方法，该方法仅需要较少的计算资源，且可以实现对人手张闭合程度的判断与估计，从而可以更好的作为机器人的输入控制命令。
技术实现思路
本专利技术旨在克服现有手势识别系统计算量大、对硬件配置要求高的技术缺陷，提供一种基于固定背景下的手势识别方法及系统。为实现上述目的，本专利技术采用以下技术方案：本专利技术提供一种基于固定背景下的手势识别方法，包括以下步骤：S1、将手势识别背景固定为黑色背景，进行所述黑色背景建模；S2、获取人手伸入时的图像，基于建立好的背景建模，使用背景减除来获得人手的前景图像；S3、对所述前景图像中的人手进行凸包与凸缺陷检测，获得当前人手的大体姿态；S4、利用图像细化算法获取人手的骨架，获得人手的基本结构，从而估算出当前人手的闭合程度；S5、根据当前人手的闭合程度控制机器人的手掌闭合。一些实施例中，步骤S2具体为：摄像头连续采集若干张没有人手的图像，计算出图像中像素的均值与方差；取每个像素的均值作为背景模板、方差作为误差范围；当有人手伸入其中时，图像中的像素发生变化，利用背景减除获得人手的前景图像。一些实施例中，采用Graham扫描法来求解凸包的顶点。一些实施例中，步骤S4中利用图像细化算法获取人手骨架的具体过程为：遍历待细化的区域，设定条件来判断当前点是否要被删除，余下的点即为细化出的骨架。一些实施例中，步骤S4中，对于点P1，遍历其周围的8邻域，所述8邻域分别为P2、P3、P4、P5、P6、P7、P8、P9；进行第一阶段删除，当满足以下条件时，则删除点P1；条件1：2≤N(P1)≤6条件2：Z0(P1)＝1条件3：P2×P8×P6＝0条件4：P4×P8×P6＝0其中，Z0(P1)是以P2-P9为序时，这些点的值从0到1变化的次数，N(P1)是P1的非零临近点的个数；进行第二阶段删除，当满足的条件如下时，删除点P1：条件1：2≤N(P1)≤6条件2：Z0(P1)＝1条件3：P2×P4×P6＝0条件4：P2×P4×P8＝0。对应的，本专利技术还公开一种基于固定背景下的手势识别系统，包括以下模块：用于手势识别固定背景的黑色背景模块、黑色背景建模模块、人手前景图像获取模块、凸包与凸缺陷检测模块、图像细化模块、机器人手掌控制模块；黑色背景建模模块进行黑色背景建模，人手前景图像获取模块获取人手伸入时的图像，基于建立好的背景建模，使用背景减除来获得人手的前景图像，凸包与凸缺陷检测模块对所述前景图像中的人手进行凸包与凸缺陷检测，获得当前人手的大体姿态，图像细化模块利用图像细化算法获取人手的骨架，获得人手的基本结构，从而估算出当前人手的闭合程度，机器人手掌控制模块根据当前人手的闭合程度控制机器人的手掌闭合。一些实施例中，人手前景图像获取模块连续采集若干张没有人手的图像，计算出图像中像素的均值与方差；取每个像素的均值作为背景模板、方差作为误差范围；当有人手伸入其中时，图像中的像素发生变化，利用背景减除获得人手的前景图像。一些实施例中，凸包与凸缺陷检测模块采用Graham扫描法来求解凸包的顶点。一些实施例中，图像细化模块遍历待细化的区域，设定条件来判断当前点是否要被删除，将余下的点作为细化出的骨架。一些实施例中，图像细化模块删除点的过程为：对于点P1，遍历其周围的8邻域，所述8邻域分别为P2、P3、P4、P5、P6、P7、P8、P9；进行第一阶段删除，当满足以下条件时，则删除点P1；条件1：2≤N(P1)≤6条件2：Z0(P1)＝1条件3：P2×P8×P6＝0条件4：P4×P8×P6＝0其中，Z0(P1)是以P2-P9为序时，这些点的值从0到1变化的次数，N(P1)是P1的非零临近点的个数；进行第二阶段删除，当满足的条件如下时，删除点P1：条件1：2≤N(P1)≤6条件2：Z0(P1)＝1条件3：P2×P4×P6＝0条件4：P2×P4×P8＝0。本专利技术的有益效果在于：本专利技术提供的基于固定背景下的手势识别方法手势识别具有系统计算量小、对硬件配置要求低，有效解决了对人手进行细微的识别与姿态估计的问题，可以有效的识别人手的闭合程度，并且对于非剧烈的光线变化具有较好的鲁棒性；可得到较大的人手区域，因此可获得较好的人手闭合的分辨力。附图说明图1是本专利技术基于固定背景下的手势识别方法的流程图；图2是本专利技术待删除点周围8邻域图；图3是本专利技术的人手张合图；图4是本专利技术基于固定背景下的手势识别系统的模块图；图5是本专利技术基于固定背景下的手势识别方法的实验效果图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本专利技术主要提出一种可以在板卡配置较低、背景固定的环境下使用的手势识别系统，并可以对人手的掌握程度进行判断与量化估计，进而来控制机器人的手掌闭合，形成主从动系统。请参阅图1，为本专利技术的基于固定背景下的手势识别方法。具体流程如下：执行步骤S1，将手势识别背景固定为黑色背景，在人手未伸入时对黑色背景进行建模。手势识别背景为固定的黑色背景。执行步骤S2，获取人手伸入时的图像，基于建立好的背景建模，使用背景减除来获得人手的前景图像。首先让摄像头连续采集若干张没有人手的图像，然后计算出图像中像素的均值与方差。然后取每个像素的均值作为背景模板，方差作为误差范围。当有人手伸入其中时，图像中的像素发生较大的变化，从而利用背景减除直接可获得前景的人手。执行步骤S3，对所述前景图像中的人手进行凸包与凸缺陷检测，获得当前人手的大体姿态。为实现凸包检测，本专利技术采用Graham扫描法来求解凸包的顶点。其求解方法为设置一本文档来自技高网...

【技术保护点】
1.一种基于固定背景下的手势识别方法，其特征在于，包括以下步骤：S1、将手势识别背景固定为黑色背景，进行所述黑色背景建模；S2、获取人手伸入时的图像，基于建立好的背景建模，使用背景减除来获得人手的前景图像；S3、对所述前景图像中的人手进行凸包与凸缺陷检测，获得当前人手的大体姿态；S4、利用图像细化算法获取人手的骨架，获得人手的基本结构，从而估算出当前人手的闭合程度；S5、根据当前人手的闭合程度控制机器人的手掌闭合。

【技术特征摘要】
1.一种基于固定背景下的手势识别方法，其特征在于，包括以下步骤：S1、将手势识别背景固定为黑色背景，进行所述黑色背景建模；S2、获取人手伸入时的图像，基于建立好的背景建模，使用背景减除来获得人手的前景图像；S3、对所述前景图像中的人手进行凸包与凸缺陷检测，获得当前人手的大体姿态；S4、利用图像细化算法获取人手的骨架，获得人手的基本结构，从而估算出当前人手的闭合程度；S5、根据当前人手的闭合程度控制机器人的手掌闭合。2.如权利要求1所述的基于固定背景下的手势识别方法，其特征在于，步骤S2具体为：摄像头连续采集若干张没有人手的图像，计算出图像中像素的均值与方差；取每个像素的均值作为背景模板、方差作为误差范围；当有人手伸入其中时，图像中的像素发生变化，利用背景减除获得人手的前景图像。3.如权利要求1所述的基于固定背景下的手势识别方法，其特征在于，步骤S3中，采用Graham扫描法来求解凸包的顶点。4.如权利要求1所述的基于固定背景下的手势识别方法，其特征在于，步骤S4中利用图像细化算法获取人手骨架的具体过程为：遍历待细化的区域，设定条件来判断当前点是否要被删除，余下的点即为细化出的骨架。5.如权利要求4所述的基于固定背景下的手势识别方法，其特征在于，步骤S4中，对于点P1，遍历其周围的8邻域，所述8邻域分别为P2、P3、P4、P5、P6、P7、P8、P9；进行第一阶段删除，当满足以下条件时，则删除点P1；条件1：2≤N(P1)≤6条件2：Z0(P1)＝1条件3：P2×P8×P6＝0条件4：P4×P8×P6＝0其中，Z0(P1)是以P2-P9为序时，这些点的值从0到1变化的次数，N(P1)是P1的非零临近点的个数；进行第二阶段删除，当满足的条件如下时，删除点P1：条件1：2≤N(P1)≤6条件2：Z0(P1)＝1条件3：P2×P4×P6＝0条件4：P2×P4×P8＝0。6.一种基于固定背景下的手势识别系统，其特征在于，包括以下模块：用于手...

【专利技术属性】
技术研发人员：邹风山，徐方，姜楠，宋健，李邦宇，潘鑫，
申请(专利权)人：沈阳新松机器人自动化股份有限公司，
类型：发明
国别省市：辽宁,21