基于ＣａｍＳｈｉｆｔ算法与手形遮罩的手识别装置及其方法制造方法及图纸

本发明专利技术揭示了一种基于ＣａｍＳｈｉｆｔ算法与手形遮罩的手识别装置及其方法，包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；其方法为：１）采用Ｈａａｒ算法识别脸部区域并加于去除；２）采用ＣａｍＳｈｉｆｔ算法对图像的手部区域进行初步的识别；３）对ＣａｍＳｈｉｆｔ算法生成的颜色概率分布图进行二值化、腐蚀、膨胀处理；４）将处理后的图中满足一定大小的连通区域分割出来，分别与每一个手形遮罩进行相似度对比；５）判断所述相似度值中的最大值是否大于阈值，若是，则判定为手，标出该连通区域；若否，则输入下一帧，执行步骤１）；本发明专利技术集中几种算法的优势，对视频中的手所在区域进行连续跟踪，方法执行效率较高，跟踪准确性较高。

Hand recognition device based on CamShift algorithm and hand shape mask and method thereof

The invention discloses a hand recognition device of CamShift algorithm and hand shape based on mask and method, including interference removal module, hand region tracking module, preliminary image processing module and recognition module based on hand shape template; the method is as follows: 1) using Haar algorithm to identify the face region and to 2) were removed; preliminary recognition using CamShift algorithm on the image of the hand area; 3) color probability distribution of CamShift algorithm for binarization, corrosion and expansion treatment; 4) after treatment in meet the segmented connected region of a certain size, respectively, compared with the similarity of each hand shape mask; 5 the maximum value) to determine whether the similarity value is greater than the threshold, if it is judged as the hand mark Connected region; if not, then enter the next frame, step 1); the concentration of several advantages of the proposed algorithm, for the video of the hand area for continuous tracking, high execution efficiency, high tracking accuracy.

【技术实现步骤摘要】

本专利技术涉及虚拟现实与计算机图像学领域，特别涉及一种对视频中的人手部位进行连续 识别与跟踪定位的。
技术介绍
手识别是人机交互、机器人、计算机视觉以及数字图像处理等领域一个重要内容。对手 的位置进行准确测定与跟踪，在人机交互，手势识别等方面具有重要意义。手识别与跟踪的方法很多，现有的方法包括基于肤色信息、基于运动信息、基于运动模 型等。目前，中科大的顾理、庄镇泉等人利用光照补偿和基于分类搜索的局部阈值手形提取 方法对手形进行提取，提取效果较好，但未能实现在连续视频中的追踪。哈工大的张良国等 提出了基于hausdorff距离的手识别系统并利用其进行手势识别，但对光照与复杂背景等因 素较敏感。哈工大的孙超、姜立利用FSR传感器检测加支持向量机的方式进行检测，效果较 好但对硬件要求较高。现有的手识别技术或是技术较复杂，在实时性上有一定缺陷，或是主要运用于单帧的静 态图像，不能对连续视频进行准确性较高的跟踪与识别。本系统提出一种利用Camshift算法 与手形遮罩相结合的手识别方法。该方法针对连续视频，以基于CamShift的颜色分析为主， 结合手形模板的形状分析技术，并利用Haar算法等对视频的干扰成分进行处理与去除，能对 视频中手所在部位进行连续与准确性较高的识别与跟踪。其中的CamShift是"Continuously Adaptive Mean-SHIFT"的縮写，即连续自适应 Mean-SHIFT算法，是一种基于Mean-SHIFT算法，应用于连续视频的跟踪算法。CamShift基 于随机颜色概率模型，与被跟踪对象的具体形状模型无关。CamShift算法采用了 HSV色彩空 间，受光照等环境因素影响较小，且人手肤色在HSV空间色度值分布鲜明。CamShift分为反 向投影(Back Projection) ， MeanShift算法与CamShift算法三部分。参考文献和公开了 Haar算法。 Paul Viola, Michael J. Jones. Robust Real-Time Face Detection. International Journal of Computer Vision, May 2004， 57: 137-154. Friedman, J. H.， Hastie， T. and Tibshirani， R. Additive Logistic Regression:4a Statistical View of Boosting. Technical Report, Dept. of Statistics, Stanford University, 1998.有鉴于此，本领域专利技术人针对上述问题，研发了一种对视频中的人手部位进行连续识别 与跟踪定位的。
技术实现思路
本专利技术的目的在于，提供一种基于C柳Shift算法与手形遮罩的手识别装置及其方法，克 服了现有技术的困难，达到对视频中的人手部位进行连续识别与跟踪定位的目的。本专利技术采用如下技术方案本专利技术的一种基于CamShift算法与手形遮罩的手识别装置，包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；所述干扰区域去除模块通过Haar算法识别并去除人脸等包含肤色的干扰部位； 所述手部区域初步追踪模块通过CamShift算法对视频中的手区域进行初步的识别与连续追踪；所述图像处理模块对经CamShift处理得到的每一帧，进行图像的二值化、腐蚀、膨胀、 划分出各个连通区域等操作，去除图像噪点；所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为 手区域，确定最终的识别与跟踪区域。进一步地，所述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。进一步地，所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。进一步地，所述基于手形模板的识别模块中手形遮罩分为左张开，左合并，右张开，右 合并四种。进一步地，四种所述手形遮罩再分为旋转O度，正负45度，正负90度五种，共20种遮罩。本专利技术的一种基于CamShift算法与手形遮罩的手识别方法，采用上述基于CamShift算 法与手形遮罩的手识别装置，包括以下步骤1) 采用Haar算法识别脸部区域并加于去除；2) 采用CamShift算法对图像的手部区域进行初步的识别；3) 对CamShift算法生成的颜色概率分布图进行二值化、腐蚀、膨胀处理；4) 将处理后的图中满足一定大小的连通区域分割出来，分别与每一个手形遮罩进行相似 度对比，式(1)为计算针对某一手形遮罩的相似度值的公式A =05/&+S/S2)/2 (1)其中，/v为相似度值，Si为某连通区域面积，S2为手遮罩面积，S为两者重叠面积， 对每一个手形遮罩计算相应的A值，取所有A中最大值^皿为最终相似度值；5) 判断所述最终相似度值P-是否大于阈值，若是，则判定为手，标出该连通区域；若否，则输入下一帧，执行步骤l)。进一步地，所述步骤l)之前还包括预设阈值。进一步地，所述步骤4)中的手形遮罩分为左张开，左合并，右张开，右合并四种。 进一步地，四种所述手形遮罩再分为旋转O度，正负45度，正负90度五种，共20种遮罩。进一步地，所述歩骤5)中当判定为手时，将所述连通区域用方框标出，完成手部位的追相对于己有的其他方法，本专利技术创造性地将Haar算法，CamShift算法，手形遮罩处理方 法等计算机视觉与数字图像处理算法结合在一起，集中几种算法的优势，先对图像进行干扰 区域去除，再将基于色彩的识别跟踪与基于形状的识别跟踪算法结合起来，可以对视频中的 手所在区域进行连续跟踪，试验证明，该方法执行效率较高，跟踪准确性较高。相比现有技 术还具有能对连续视频进行准确性较高的跟踪与识别，对光照与复杂背景等因素敏感度低， 降低硬件要求的优点。以下结合附图及实施例进一步说明本专利技术。附图说明图1为本专利技术中基于CamShift算法与手形遮罩的手识别装置的结构示意图； 图2为本专利技术中基于CamShift算法与手形遮罩的手识别方法的流程图； 图3为实施例1中所用到部分手形模板图。具体实施例方式下面通过图1至3，来介绍本专利技术的一种具体实施例。形遮罩的手识别装置，包括通过数据 线相连并交换数据的干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手 形模板的识别模块。其中，所述干扰区域去除模块通过Haar算法识别并去除人脸等包含肤色的干扰部位，所 述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。所述手部区域初步追踪模块通过CamShift算法对视频中的手区域进行初步的识别与连续 追踪，所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。所述图像处理模块对经CamShift处理得到的每一帧，进行图像的二值化、腐蚀、膨胀、 划分出各个连通区域等操作，去除图像噪点；所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为 手区域，确定最终的识别与跟踪区域。所述基于手形模板的识别模块中手形遮罩分为左张开， 左合并，右张开，右合并四种，这四种所述手形遮罩再分为旋转0度，正负45度，正负90 本文档来自技高网...

【技术保护点】
一种基于ＣａｍＳｈｉｆｔ算法与手形遮罩的手识别装置，其特征在于：包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；　　所述干扰区域去除模块通过Ｈａａｒ算法识别并去除人脸等包含肤色的干扰部位；　　所述手部区域初步追踪模块通过ＣａｍＳｈｉｆｔ算法对视频中的手区域进行初步的识别与连续追踪；　　所述图像处理模块对经ＣａｍＳｈｉｆｔ处理得到的每一帧，进行图像的二值化、腐蚀、膨胀、划分出各个连通区域等操作，去除图像噪点；　　所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为手区域，确定最终的识别与跟踪区域。

【技术特征摘要】

【专利技术属性】
技术研发人员：季斐翀，陆涛，周暖云，潘晋，
申请(专利权)人：上海水晶石信息技术有限公司，
类型：发明
国别省市：31[中国|上海]