一种基于分水岭变换的静态手势识别方法技术

一种基于分水岭变换的静态手势识别方法属于图像处理领域；手势识别方法包括手势图像的采集、颜色空间转换、自适应亮度调整、肤色阈值分割、分水岭变换、灰度阈值合并、手势特征提取和模板匹配。自适应亮度调整算法极大地提高了类肤色区域提取准确性；双高斯滤波核更好地解决了分水岭变换中的过分割问题，同时更好地保留了图像的边缘信息；傅里叶相关性判别手势指令更好地利用了待匹配手势的特征，提高了手势识别的准确性。势识别的准确性。势识别的准确性。

【技术实现步骤摘要】
一种基于分水岭变换的静态手势识别方法


[0001]本专利技术涉及图像处理和人机交互领域，尤其涉及一种基于分水岭变换的静 态手势识别方法。

技术介绍

[0002]手势识别技术作为自然人机交互的应用典范，通过传感器、雷达、视频图像 等技术方案来识别用户的操作指令，其应用范围正在逐渐地进入社会生活的各个 领域。其中，基于视频图像的手势交互方式有着更好地应用和发展前景。例如， 在机器人控制和远程控制中的应用，在一些危险区域等不便直接操控的特殊场合； 辅助聋哑人生活，通过手势交流提高聋哑人的生活质量；在智能家居控制领域， 可以给用户带来更好的交互体验，提高控制设备的便利性；在虚拟现实环境中， 通过手势对环境和虚拟物体进行控制，在目标操作界面上使用手势来完成虚拟环 境下的浏览、选择和操纵。
[0003]基于视频图像处理技术的手势识别主要通过手势分割、手势特征提取、手势 特征匹配等步骤来识别手势指令。手势分割作为手势识别中重要的一环，分割的 好坏直接影响了手势特征提取的准确性。分水岭算法作为一种图像分割的方法可 以对手势图像进行分割，但传统的分水岭算法容易产生过分割的问题，高斯滤波 虽然可以减弱过分割的影响，但单一的滤波核会造成图像边缘信息的缺失，最终 影响手势分割的准确性；手势特征的选取直接影响最终的识别准确率，而传统的 面积周长比、欧氏距离作为特征来进行匹配会造成一定的误差。为解决上述问题， 本专利技术提出一种基于分水岭变换的静态手势识别方法。

技术实现思路

[0004]本专利技术的目的在于公开一种基于分水岭变换的静态手势识别方法，提高了手 势分割的准确性和手势识别的准确率。
[0005]一种基于分水岭变换的静态手势识别方法，包括：
[0006]步骤一、CMOS图像传感器采集用户手部的RGB图像，记为M；
[0007]步骤二、将采集的RGB图像M转换到YCbCr颜色空间下，转换后的图像 记为N；
[0008]步骤三、通过自适应亮度调整的方法对YCbCr颜色空间下的图像N进行光 照补偿，补偿后的图像记为O；
[0009]步骤四、通过阈值分割对图像O进行类肤色区域提取，提取的图像记为U；
[0010]步骤五、对图像U通过分水岭变换进行分割，分割后的图像记为P；
[0011]步骤六、对分水岭分割后的图像P使用两个高斯滤波核进行高斯滤波，滤波 后的图像记为Q；
[0012]步骤七、对高斯滤波后的图像Q通过灰度阈值合并分割出单独的完整手势 图像，记为A；
[0013]步骤八、对分割后的手势图像A进行手势特征提取，包括手势图像的面积、 周长和傅里叶描述子，并计算面积周长比；
[0014]步骤九、通过手势图像A的面积周长比、傅里叶相关性作为特征参数与模 板库中的手势图像的特征参数进行对比来识别手势，首先通过面积周长比进行初 次分类，再通过傅里叶相关性分析进行手势最终识别，若满足识别条件则输出手 势指令，否则判别为无效手势。
[0015]步骤一中CMOS图像传感器采集用户手部的RGB图像要求被测者将手背 中心或手掌中心正对摄像头做出相应手势动作。
[0016]步骤二中将采集的RGB图像M转换到YCbCr颜色空间下，根据公式(1) 进行颜色空间转换：
[0017][0018]其中Y表示明亮度，Cb和Cr表示蓝色和红色的浓度偏移量成分。
[0019]步骤三中通过自适应亮度调整的方法对YCbCr颜色空间下的图像N进行光 照补偿，具体方法为：
[0020]设图像N为n(x,y)，亮度补偿后的图像为o(x,y)，G
max
和G
min
分别表示图 像变换后最大灰度级与最小灰度级，对于图像n(x,y)中Y分量前5％的像素， o(x,y)取其灰度级的平均值B
av
，对于图像n(x,y)中Y分量后5％的像素，o(x,y) 取其灰度级的平均值为E
av
，对于图像n(x,y)中Y分量中间90％的像素用公式(2) 进行光照补偿：
[0021][0022]其中B表示亮度值前5％像素中灰度级的最大值，E表示亮度值后5％像素 中灰度级的最小值。
[0023]步骤四中通过阈值设定对图像O进行类肤色区域提取，具体阈值设定方法 为：
[0024]当Y＞80，133＜Cr＜173，127＜Cb＜133时判定为肤色区域，其余为非肤色区 域。
[0025]步骤五中对图像U通过分水岭变换进行分割，按照以下步骤进行分水岭变 换：
[0026]步骤五一、将阈值分割后的图像U中所有的像素按照灰度值进行分类，按 照从小到大的顺序进行排列t1、t2……
t
n
，并设定测地阈值T1，其中t1、t2……
t
n
表示不同灰度值所对应的像素；
[0027]步骤五二、找到灰度值最小的像素点，标记为灰度值的起始点t
i
，i的初始值 为1；
[0028]步骤五三、分别计算像素点t
i
与其八邻域像素点t
m
的测地距离d
m
‑
i
，如公式 (3)所示：
[0029][0030]其中x
i
和y
i
为t
i
点的横、纵坐标，i为对应灰度值像素点的序号，i＝1、2
……
n； x
m
和y
m
为t
m
点的横、纵坐标，m为对应八邻域点的序号，m＝2、3
……
9；
[0031]若d
m
‑
i
小于T1，则用t
i
点的像素取代t
m
点的像素，否则将t
i
点和t
m
点用分 割线分割成两块区域；
[0032]步骤五四、令i＝i+1，重复步骤五三，直至对整个图像完成分割。
[0033]步骤六中对分水岭分割后的图像P进行高斯滤波，具体方法为：
[0034]使用两个高斯滤波核对分水岭分割后的图像进行高斯滤波，首先设定阈值T2， 通过噪点评估公式(4)进行高斯核的选择，对于图像内噪声点选用中心权值较 小的卷积核H1，边缘噪声点选用中心权值较大的卷积核H2；
[0035][0036]其中g(x,y)表示(x,y)点的灰度值，根据(x,y)的灰度值与周围八邻域相邻 点的灰度均值的差值的绝对值判断该点是否为图像内的噪声点。
[0037]步骤七中对高斯滤波后的图像Q通过灰度阈值合并分割出单独的完整手势 图像，具体方法为：
[0038]通过计算分水岭变换后的图像的各个区域与其相邻区域的区域相似度进行 区域合并，区域相似度公式为(5)：
[0039][0040]其中G(i,j)、E(i,j)与F(i,j)分别为图像Q中两个相邻区域的灰度对比度、 分水岭线的边缘相似度和区域邻接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分水岭变换的静态手势识别方法，其特征在于：通过以下步骤实现：步骤一、CMOS图像传感器采集用户手部的RGB图像，记为M；步骤二、将采集的RGB图像M转换到YCbCr颜色空间下，转换后的图像记为N；步骤三、通过自适应亮度调整的方法对YCbCr颜色空间下的图像N进行光照补偿，补偿后的图像记为O；步骤四、通过阈值分割对图像O进行类肤色区域提取，提取的图像记为U；步骤五、对图像U通过分水岭变换进行分割，分割后的图像记为P；步骤六、对分水岭分割后的图像P使用两个高斯滤波核进行高斯滤波，滤波后的图像记为Q；步骤七、对高斯滤波后的图像Q通过灰度阈值合并分割出单独的完整手势图像，记为A；步骤八、对分割后的手势图像A进行手势特征提取，包括手势图像的面积、周长和傅里叶描述子，并计算面积周长比；步骤九、通过手势图像A的面积周长比、傅里叶相关性作为特征参数与模板库中的手势图像的特征参数进行对比来识别手势，首先通过面积周长比进行初次分类，再通过傅里叶相关性分析进行手势最终识别，若满足识别条件则输出手势指令，否则判别为无效手势。2.根据权利要求1所述的一种基于分水岭变换的静态手势识别方法，其特征在于：所述步骤一中CMOS图像传感器采集用户手部的RGB图像要求被测者将手背中心或手掌中心正对摄像头做出相应手势动作。3.根据权利要求1所述的一种基于分水岭变换的静态手势识别方法，其特征在于：所述步骤二中将采集的RGB图像M转换到YCbCr颜色空间下，根据公式(1)进行颜色空间转换：其中Y表示明亮度，Cb和Cr表示蓝色和红色的浓度偏移量成分。4.根据权利要求1所述的一种基于分水岭变换的静态手势识别方法，其特征在于：所述步骤三中通过自适应亮度调整的方法对YCbCr颜色空间下的图像N进行光照补偿，具体方法为：设图像N为n(x,y)，亮度补偿后的图像为o(x,y)，G
max
和G
min
分别表示图像变换后最大灰度级与最小灰度级，对于图像n(x,y)中Y分量前5％的像素，o(x,y)取其灰度级的平均值B
av
，对于图像n(x,y)中Y分量后5％的像素，o(x,y)取其灰度级的平均值为E
av
，对于图像n(x,y)中Y分量中间90％的像素用公式(2)进行光照补偿：其中B表示亮度值前5％像素中灰度级的最大值，E表示亮度值后5％像素中灰度级的最小值。5.根据权利要求1所述的一种基于分水岭变换的静态手势识别方法，其特征在于：所述步骤四中通过阈值设定对图像O进行类肤色区域提取，具体阈值设定方法为：当Y＞80,133＜Cr＜173,127＜Cb＜133时判定为肤色区域，其余为非肤色区域。
6.根据权利要求1所述的一种基于分水岭变换的静态手势识别方法，其特征在于：所述步骤五中对图像U通过分水岭变换进行分割，按照以下步骤进行分水岭变换：步骤五一、将阈值分割后的图像U中所有的像素按照灰度值进行分类，按照灰度值从小到大的顺序进行排列t1、t2……
t
n
，并设定测地阈值T1，其中t1、t2……
t
n
表示不同灰度值所对应的像素；步骤五二、找到灰度值最小的像素点，标记为灰度值的起始点t
i
，i的初始值为1；步骤五三、分别计算像素点t
i
与其八邻域像素点t
m
的测地距离d
m
‑
i
，如公式(3)所示：其中x
i
和y
i
为t
i
点的横、纵坐标，i为对应灰度值像素点的序号，i＝1、2
……
n；x
m
和y
m
为t
m
点的横、纵坐标，m为对应八邻域点的序号，m＝2、3
……
9；若d
m
‑
i
小于T1，则用t
i
点的像素取代t
m
点的像素，否则将t
i
点和t
m
点用分割线分割成两块区域；步骤五四、令i＝i+1，重复步骤五三，直至对整个图像完成分割。7.根据权利要求1所述一种基于分水岭变换的静态手势识别方法，其特征在于：所述步骤六中对分水岭分割后的图像P进行高斯滤波，具体方法为：使用两个高斯滤波核对分水岭分割后的图像进行高斯滤波，首先设定阈值T2，通过噪点评估公...

【专利技术属性】
技术研发人员：于天河，张海珍，王鹏，季盛，李翰堂，秦梦娇，
申请(专利权)人：哈尔滨鹏路智能科技有限公司，
类型：发明
国别省市：