一种基于深度图像的手部轮廓特征优化方法技术

本发明专利技术公开了一种基于深度图像的手部轮廓特征优化方法，其特征是：该方法包括如下步骤：(1)读入深度图像，预处理并得到包含冗余轮廓的手部区域图；(2)计算初始迭代点和迭代半径，初始迭代点尽量靠近手指尖；(3)利用均值漂移算法进行迭代，找到最接近手掌的圆形区域，返回圆心与半径；(4)更新手部区域轮廓，将冗余轮廓剔除，得到精确的手部区域轮廓；(5)利用凸包检测算法得到手部区域的外部凸包轮廓，并结合内轮廓与外凸包的Hu不变矩信息，得到14维轮廓特征向量。该优化方法利用均值漂移和凸包检测算法的手部轮廓特征优化法可以有效去除小臂、衣袖等其他冗余轮廓信息，提高最终手势识别系统的稳定性。

A method of hand contour feature optimization based on depth image

The invention discloses a method for optimizing hand contour features based on depth images, which comprises the following steps: (1) reading depth images, preprocessing and obtaining hand region maps containing redundant contours; (2) calculating the initial iteration point and iteration radius, and the initial iteration point as close as possible to the fingertip; (3) utilizing both. Value drift algorithm iterates to find the closest circle to the palm, and returns to the center and radius of the circle; (4) Updating the contour of the hand region, removing the redundant contour, and getting the precise contour of the hand region; (5) Using the cam hull detection algorithm to get the outer cam hull contour of the hand region, and combining the Hu invariant moment information of the inner contour and outer cam hull. 14 dimensional contour feature vectors are obtained. This method uses the mean shift and convex hull detection algorithm to optimize the hand contour features, which can effectively remove the arm, sleeve and other redundant contour information, and improve the stability of the final gesture recognition system.

【技术实现步骤摘要】
一种基于深度图像的手部轮廓特征优化方法
本专利技术涉及计算机视觉和人机交互
，具体为一种基于深度图像的手部轮廓特征优化方法。
技术介绍
专利号为201510282688.1的中国专利技术专利公开了一种基于深度图像的手部特征点检测方法，其包括以下步骤：(1)手部分割：利用Kinect采集到人体运动视频序列来提取手部，通过深度图像利用Openni得到人体手部位置信息，通过设定搜索区域及深度阈值方法，初步获得手心点；利用Opencv的find_contours函数得到手部轮廓；通过找到手轮廓内最大内接圆圆心，精确确定手部手心点，通过计算所有手部内部点到轮廓点之间的最短距离m，在最短距离中找到最大值M，M所代表的手部内部点为手心点，内接圆半径R＝M；(2)特征点提取：通过不断对手部轮廓进行高斯平滑，并结合曲率阈值从而得到CSS曲率图，根据图中CSS轮廓分析极限值得出手部指尖点及指谷点坐标，同时需要补全根据CSS曲率图无法得到的手部指谷点；(3)补全缺失手指，利用角度阈值和深度跳变结合的方式来补全缺失手指，从而找到弯曲手指的指尖点。然而，这种基于设定搜索区域及深度阈值方法提取的手部轮廓特征会附带小臂、衣袖等其他物体的轮廓，这些冗余轮廓会造成轮廓特征提取质量较差，在特征向量化过程中与预期特征不符，导致最终手势识别系统的识别精度较低。为此，申请人进行了有益的探索和尝试，找到了解决上述问题的办法，下面将要介绍的技术方案便是在这种背景下产生的。
技术实现思路
本专利技术的目的在于提供一种基于深度图像的手部轮廓特征优化方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于深度图像的手部轮廓特征优化方法，该方法包括如下步骤：(6)读入深度图像，预处理并得到包含冗余轮廓的手部区域图；(7)计算初始迭代点和迭代半径，初始迭代点尽量靠近手指尖；(8)利用均值漂移算法进行迭代，找到最接近手掌的圆形区域，返回圆心与半径；(9)更新手部区域轮廓，将冗余轮廓剔除，得到精确的手部区域轮廓；(10)利用凸包检测算法得到手部区域的外部凸包轮廓，并结合内轮廓与外凸包的Hu不变矩信息，得到14维轮廓特征向量。优选的，所述的基于深度图像的手部轮廓特征优化方法，在所述的步骤(1)中，深度图像预处理模块对深度图像进行阈值切割、图形学滤波并计算最大连通区域，包括以下步骤：(a)利用深度阈值得到手部区域，并将其映射到二值图像，包含冗余轮廓，白色前景表示手部区域，背景为黑色；(b)利用图形学运算，先做开运算，平滑图像轮廓并去除背景噪声，再做闭运算，填充目标内的细小孔洞；(c)寻找最大面积轮廓，并认为该轮廓为手部区域轮廓，包含冗余轮廓，填补该轮廓内的孔洞。优选的，所述的基于深度图像的手部轮廓特征优化方法，在所述步骤(2)中，包括从初步提取的手部区域中选取初始迭代点和迭代半径的步骤，该步骤包括以下步骤：(a)将提取的手部区域轮廓以多边形表示，并修复含有内环的多边形情况；(b)计算多边形的最小外接矩形，并与图像边界进行比较，根据两者重合的边数进行如下分类讨论：(a)若手离镜头过近，图像无法显示完整的手部区域，算法终止；(b)若重合的两条边是平行边，则表明手横向或纵向贯穿镜头，图像无法显示完整的手部区域，算法终止；(c)若没有手臂部分轮廓与图像边界相交，冗余轮廓不存在，此时返回的初始迭代点为手部区域的质心，初始迭代半径根据实际手掌经验值选取；(d)若重合的两条边是相交边，则在多边形的最小外接矩形的四个顶点中，计算距离多边形最近的顶点，且要保证该顶点是有效的，不与图像边界相交，再计算得到该顶点在多边形上的投影点，即多边形上距离该顶点最近的点；最后取投影点与多边形质心的连线中点作为初始迭代点，连线长度的一半作为初始迭代半径，若初始迭代点在多边形外部，则取该点在多边形上的投影点作为新的初始迭代点。优选的，所述的基于深度图像的手部轮廓特征优化方法，在所述步骤(3)中，还包括基于均值漂移的迭代过程，该步骤包括以下子步骤(a)根据初始迭代点c0与初始迭代半径r0得到迭代圆C的初始区域；(b)寻找迭代圆C与手部区域多边形P的相交区域I，并计算该区域的质心ci；(c)比较质心ci与迭代圆的圆心c，若两者相差超过迭代门限，则进入步骤S34；若两者相差在迭代门限内，则进入步骤(e)；(d)，调整迭代圆的圆心c为相交区域的质心ci，半径r为相交区域的质心ci在手部区域多边形P边界上的投影，并返回步骤(b)；(e)，若S(I)/S(C)＞1.1sth，则增加迭代圆半径r，并返回所述的步骤(2)；若S(I)/S(C)＜0.9sth，则减小迭代圆半径r，并返回步骤(b)；否则终止迭代，输出迭代结束时的迭代圆的圆心位置c和半径r，上述的S(I)，S(C)分别为相交区域与迭代圆面积，sth为有效面积像素阈值。优选的，所述的基于深度图像的手部轮廓特征优化方法，在所述步骤(4)中，还包括根据均值漂移的迭代结果更新手部区域轮廓的过程，该步骤包括以下子步骤：(a)根据迭代圆与手部区域多边形的相交情况，将手部区域多边形分成相交区域I和不相交区域其中不相交区域Q可能是由多个独立多边形{q1，q2，...，qn}构成的；(b)针对不相交区域Q中的每个独立多边形q，计算q与图像边界的重合线段d的长度。若则在原手部区域多边形P中剪除qi，并进入步骤S44；若则进入步骤S43；上述的dth为图像边界重合线段阈值；(c)对不相交区域Q中的每个独立多边形q，计算q的质心cq，以迭代圆的圆心c为起点，作延长线cq直至图像边界，计算q与cq延长线的重合线段m的长度。若则在原手部区域多边形P中剪除qi；(d)判断当前的手部区域多边形P是否包含多个分离的多边形部分，若是，则将其中面积最大的多边形Pmax作为最终得到的精确手部区域Pa，并返回Pa的轮廓作为精确手部轮廓。优选的，所述的基于深度图像的手部轮廓特征优化方法，在所述步骤(5)中结合凸包检测的轮廓特征向量化过程，该步骤包括以下子步骤：(a)使用Graham扫描法计算精确手部区域的外部凸包轮廓；(b)计算精确手部区域轮廓的7维Hu不变矩向量；(c)计算外部凸包轮廓的7维Hu不变矩向量；(d)组合手部区域轮廓和外部凸包轮廓的14维Hu不变矩形成新的手部轮廓特征向量。与现有技术相比，本专利技术的有益效果是：该基于深度图像的手部轮廓特征优化方法相比于传统的手部轮廓特征提取算法，利用均值漂移和凸包检测算法的手部轮廓特征优化法可以有效去除小臂、衣袖等其他冗余轮廓信息，特征向量化的过程中尽可能保证轮廓特征的准确性和全面性，为后续的分类学习等步骤的提供更为准确的输入数据源，提高最终手势识别系统的稳定性。附图说明图1是本专利技术总体算法流程图。图2是本专利技术的深度图像预处理流程图。图3是本专利技术的计算初始迭代点和初始迭代半径的流程图。图4是本专利技术的根据均值漂移算法迭代寻找手掌区域的流程图。图5是本专利技术的手部区域轮廓更新的流程图。图6是本专利技术的结合凸包检测的轮廓特征向量化过程的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普本文档来自技高网...

【技术保护点】
1.一种基于深度图像的手部轮廓特征优化方法，其特征是：该方法包括如下步骤：(1)读入深度图像，预处理并得到包含冗余轮廓的手部区域图；(2)计算初始迭代点和迭代半径，初始迭代点尽量靠近手指尖；(3)利用均值漂移算法进行迭代，找到最接近手掌的圆形区域，返回圆心与半径；(4)更新手部区域轮廓，将冗余轮廓剔除，得到精确的手部区域轮廓；(5)利用凸包检测算法得到手部区域的外部凸包轮廓，并结合内轮廓与外凸包的Hu不变矩信息，得到14维轮廓特征向量。

【技术特征摘要】
1.一种基于深度图像的手部轮廓特征优化方法，其特征是：该方法包括如下步骤：(1)读入深度图像，预处理并得到包含冗余轮廓的手部区域图；(2)计算初始迭代点和迭代半径，初始迭代点尽量靠近手指尖；(3)利用均值漂移算法进行迭代，找到最接近手掌的圆形区域，返回圆心与半径；(4)更新手部区域轮廓，将冗余轮廓剔除，得到精确的手部区域轮廓；(5)利用凸包检测算法得到手部区域的外部凸包轮廓，并结合内轮廓与外凸包的Hu不变矩信息，得到14维轮廓特征向量。2.根据权利要求1所述的基于深度图像的手部轮廓特征优化方法，其特征是：在所述的步骤(1)中，深度图像预处理模块对深度图像进行阈值切割、图形学滤波并计算最大连通区域，包括以下步骤：(a)利用深度阈值得到手部区域，并将其映射到二值图像，包含冗余轮廓，白色前景表示手部区域，背景为黑色；(b)利用图形学运算，先做开运算，平滑图像轮廓并去除背景噪声，再做闭运算，填充目标内的细小孔洞；(c)寻找最大面积轮廓，并认为该轮廓为手部区域轮廓，包含冗余轮廓，填补该轮廓内的孔洞。3.根据权利要求1所述的基于深度图像的手部轮廓特征优化方法，其特征是：在所述步骤(2)中，包括从初步提取的手部区域中选取初始迭代点和迭代半径的步骤，该步骤包括以下步骤：(a)将提取的手部区域轮廓以多边形表示，并修复含有内环的多边形情况；(b)计算多边形的最小外接矩形，并与图像边界进行比较，根据两者重合的边数进行如下分类讨论：(a)若手离镜头过近，图像无法显示完整的手部区域，算法终止；(b)若重合的两条边是平行边，则表明手横向或纵向贯穿镜头，图像无法显示完整的手部区域，算法终止；(c)若没有手臂部分轮廓与图像边界相交，冗余轮廓不存在，此时返回的初始迭代点为手部区域的质心，初始迭代半径根据实际手掌经验值选取；(d)若重合的两条边是相交边，则在多边形的最小外接矩形的四个顶点中，计算距离多边形最近的顶点，且要保证该顶点是有效的，不与图像边界相交，再计算得到该顶点在多边形上的投影点，即多边形上距离该顶点最近的点；最后取投影点与多边形质心的连线中点作为初始迭代点，连线长度的一半作为初始迭代半径，若初始迭代点在多边形外部，则取该点在多边形上的投影点作为新的初始迭代点。4.根据权利要求1所述的基于深度图像的手部轮廓特征优化方法，其特征是：在所述步骤(3)中，还包括...

【专利技术属性】
技术研发人员：刘佩林，金珂，葛昊，应忍冬，邹耀，
申请(专利权)人：上海数迹智能科技有限公司，
类型：发明
国别省市：上海,31