一种动态手势序列实时识别方法、系统及装置制造方法及图纸

本发明专利技术公开了一种动态手势序列实时识别方法、系统及装置，方法包括：分别采集含有待识别对象的彩色图像和深度图像；根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域；在人体区域中进行手部区域的检测与分割，得到手部区域；根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪；根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列；对动态手势序列进行建模和分类。本发明专利技术通过深度信息、具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型提升了手势识别的鲁棒性，识别效果好，可广泛应用于人工智能和计算机视觉领域。

【技术实现步骤摘要】
一种动态手势序列实时识别方法、系统及装置
本专利技术涉及人工智能和计算机视觉领域，尤其是一种动态手势序列实时识别方法、系统及装置。
技术介绍
人机交互(HRI)是一个在计算机视觉中的研究领域。基于视觉的手势识别已经被许多研究人员研究了很多年。然而，由于手势识别在实际应用中的困难(例如复杂的背景和光照条件)，动态手势识别仍然是一个挑战。一个动态手势识别系统，一般包括手势检测/跟踪模块、手势识别模块、手势建模模块和分类模块。基于颜色信息的肤色分割和二维/三维模板匹配被广泛应用于检测颜色空间中的手部区域。然而，光照对皮肤颜色分布有很大的影响，使其与手工模板的匹配受到复杂背景的严重干扰。近年来，由于引入了深度传感器，使得研究人员能利用深度信息对手部区域进行检测与跟踪，以提高手势识别的性能，使手势识别对凌乱的背景鲁棒性更好。轨迹跟踪是动态手势识别的一个重要步骤，在线的动态手势识别依赖于有效的手势轨迹跟踪，并应用于数学模型如HiddenMarkov模型(HMM)、输入输出HiddenMarkov模型(IOHMM)、隐式条件随机域(HCRF)等。然而，目前的手势识别方法并未克服肤色易受光照影响的缺陷，鲁棒性不强，识别效果有待进一步提升。
技术实现思路
为解决上述技术问题，本专利技术的目的在于：提供一种鲁棒性强和识别效果好的动态手势序列实时识别方法、系统及装置。本专利技术所采取的第一技术方案是：一种动态手势序列实时识别方法，包括以下步骤：分别采集含有待识别对象的彩色图像和深度图像；根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域；在人体区域中进行手部区域的检测与分割，得到手部区域；根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪；根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列；对动态手势序列进行建模和分类。进一步，所述根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域这一步骤，具体包括：使用二维头部模板及距离匹配算法在采集的深度图像中搜索可能的头部区域；使用带有深度信息的三维头部模板从可能的头部区域中删除不匹配的区域；使用区域增长算法从删除不匹配区域后的区域中分割得到深度图像的人体区域；根据深度图像的人体区域计算背景掩码，进而根据背景掩码在采集的彩色图像中分割人体区域。进一步，所述在人体区域中进行手部区域的检测与分割，得到手部区域这一步骤，具体包括：采用边缘检测算法计算深度图像的人体区域的二值边缘图像；从计算的二值边缘图像中滑窗选择待匹配区域，并采用倒角距离匹配法与二维手部模板进行匹配检测，得到若干个候选手部区域，所述倒角距离匹配法中倒角距离的计算公式为：其中，dcharm(UT,VQ)为UT中的点与VQ中的点的倒角距离，UT为二维手部模板边缘的点集，VQ为待匹配区域的边缘图像的点集，ui为UT中的第i个点，i＝1，2，…，n；n为UT的总点数，uj为VQ中第j个点，j＝1，2，…，m；m为VQ的总点数；计算每个候选手部区域的匹配得分，并根据计算的匹配得分从所有候选手部区域中选出最终的手部区域，所述候选手部区域的匹配得分Mscore的表达式为：其中，smax表示所有候选手部区域中最大的深度距离，scandidate表示当前候选区域的深度距离，dcham表示当前候选区域的点与二维手部模板的点的倒角距离。进一步，所述根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪这一步骤，具体包括：将给定的肤色样本中肤色的色彩空间转换为YCbCr空间，并通过多元高斯模型拟合肤色在Y、Cb和Cr这三个通道的概率统计分布，从而得到肤色模型和基于高斯分布的椭圆边界模型的联合概率分布函数，所述得到的联合概率分布函数表达式为：其中，p(x/skin)为在肤色skin的概率分布下的x对应的像素的似然值，x为像素的色彩向量，且x为d维随机变量，μ为训练样本肤色的高斯均值，T为转置，∑为训练样本的高斯协方差矩阵，∑-1为∑的逆矩阵；计算像素的色彩向量与训练样本肤色的高斯均值间的马氏距离，并结合预设的马氏距离阈值确定手部检测的边界模型，所述手部检测的边界模型将计算的马氏距离小于预设的马氏距离阈值对应的区域作为手部跟踪区域；采用目标跟踪算法对手部跟踪区域内手部在每一图像帧中的位置进行动态跟踪。进一步，所述根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列这一步骤，具体包括：在手部动态跟踪过程中进行时空手势序列检测及静态手势识别；在手部动态跟踪过程中进行时空手势序列的特征提取，以实现动态手势轨迹的量化。进一步，所述在手部动态跟踪过程中进行时空手势序列检测及静态手势识别这一步骤，具体包括：采用两个预设的静态手形来标记动态手势的开始和结束手势；在手部动态跟踪过程中，在每个图像帧中使用倒角距离匹配法识别静态的手部姿态。进一步，所述在手部动态跟踪过程中进行时空手势序列的特征提取，以实现动态手势轨迹的量化这一步骤，具体包括：记录在手部动态跟踪过程中手形质心的二维坐标序列点作为质心点，并结合方向、位置和速度生成质心点轨迹的特征向量，所述质心点的方向采用东、南、西、北、东南、东北、西南和西北这8个方向的方向向量来表示，所述质心点的位置采用手势的三维坐标来表示，所述质心点的速度等于三维坐标系中两个相邻图像帧质心点间的欧氏距离差值除以两个相邻图像帧间的持续时间；对给定训练样本的质心点轨迹的特征向量集采用MeanShift算法和欧氏距离来进行离散化，得到手势序列的离散形式，所述MeanShift算法将所有的特征向量分为k个簇，并根据与簇平均值的欧氏距离为每个新输入的特征向量指定一个簇。进一步，所述对动态手势序列进行建模和分类这一步骤，具体包括：对动态手势序列中每个手势轨迹的所有特征向量采用MeanShift算法聚类至k个簇，并为每个簇分配一个簇索引；采用左-右带状拓扑结构确定离散隐马尔可夫模型的隐藏状态和观察符号，所述离散隐马尔可夫模型的隐藏状态S表示为S＝{S1，S2……Sk}，所述离散隐马尔可夫模型的观察符号O表示为O＝{O1，O2，……，Ok}，其中，Sk和Ok分别代表第k个簇对应的隐藏状态和簇索引；将新输入的手势轨迹转换为观察符号输入到离散隐马尔可夫模型中，从而得到新输入的手势轨迹对应的手势分类，所述新输入的手势轨迹对应的手势分类L表达式为：L＝argmax{P(O|<πL,AL,BL>)},L∈[1,M]，其中，<πL,AL,BL>代表离散隐马尔可夫模型参数，πL、AL和BL分别表示L对应的初始状态概率向量、转移概率矩阵和观察符号概率矩阵，M表示手势的总类别，P(O|<πL,AL,BL>)表示在模型参数<πL,AL,BL>下观察符号O的出现概率。本专利技术所采取的第二技术方案是：一种动态手势序列实时识别系统，包括：采集模块，用于分别采集含有待识别对象的彩色图像和深度图像；人体区域获取模块，用于根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区本文档来自技高网...

【技术保护点】
1.一种动态手势序列实时识别方法，其特征在于：包括以下步骤：分别采集含有待识别对象的彩色图像和深度图像；根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域；在人体区域中进行手部区域的检测与分割，得到手部区域；根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪；根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列；对动态手势序列进行建模和分类。

【技术特征摘要】
1.一种动态手势序列实时识别方法，其特征在于：包括以下步骤：分别采集含有待识别对象的彩色图像和深度图像；根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域；在人体区域中进行手部区域的检测与分割，得到手部区域；根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪；根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列；对动态手势序列进行建模和分类。2.根据权利要求1所述的一种动态手势序列实时识别方法，其特征在于：所述根据采集的彩色图像和深度图像进行人体区域检测与分割，得到人体区域这一步骤，具体包括：使用二维头部模板及距离匹配算法在采集的深度图像中搜索可能的头部区域；使用带有深度信息的三维头部模板从可能的头部区域中删除不匹配的区域；使用区域增长算法从删除不匹配区域后的区域中分割得到深度图像的人体区域；根据深度图像的人体区域计算背景掩码，进而根据背景掩码在采集的彩色图像中分割人体区域。3.根据权利要求2所述的一种动态手势序列实时识别方法，其特征在于：所述在人体区域中进行手部区域的检测与分割，得到手部区域这一步骤，具体包括：采用边缘检测算法计算深度图像的人体区域的二值边缘图像；从计算的二值边缘图像中滑窗选择待匹配区域，并采用倒角距离匹配法与二维手部模板进行匹配检测，得到若干个候选手部区域，所述倒角距离匹配法中倒角距离的计算公式为：其中，dcharm(UT,VQ)为UT中的点与VQ中的点的倒角距离，UT为二维手部模板边缘的点集，VQ为待匹配区域的边缘图像的点集，ui为UT中的第i个点，i＝1，2，…，n；n为UT的总点数，uj为VQ中第j个点，j＝1，2，…，m；m为VQ的总点数；计算每个候选手部区域的匹配得分，并根据计算的匹配得分从所有候选手部区域中选出最终的手部区域，所述候选手部区域的匹配得分Mscore的表达式为：其中，smax表示所有候选手部区域中最大的深度距离，scandidate表示当前候选区域的深度距离，dcham表示当前候选区域的点与二维手部模板的点的倒角距离。4.根据权利要求1所述的一种动态手势序列实时识别方法，其特征在于：所述根据手部区域，采用具备光照不变性的肤色模型以及基于高斯分布的椭圆边界模型进行手部的动态跟踪这一步骤，具体包括：将给定的肤色样本中肤色的色彩空间转换为YCbCr空间，并通过多元高斯模型拟合肤色在Y、Cb和Cr这三个通道的概率统计分布，从而得到肤色模型和基于高斯分布的椭圆边界模型的联合概率分布函数，所述得到的联合概率分布函数表达式为：其中，p(x/skin)为在肤色skin的概率分布下的x对应的像素的似然值，x为像素的色彩向量，且x为d维随机变量，μ为训练样本肤色的高斯均值，T为转置，∑为训练样本的高斯协方差矩阵，∑-1为∑的逆矩阵；计算像素的色彩向量与训练样本肤色的高斯均值间的马氏距离，并结合预设的马氏距离阈值确定手部检测的边界模型，所述手部检测的边界模型将计算的马氏距离小于预设的马氏距离阈值对应的区域作为手部跟踪区域；采用目标跟踪算法对手部跟踪区域内手部在每一图像帧中的位置进行动态跟踪。5.根据权利要求3所述的一种动态手势序列实时识别方法，其特征在于：所述根据手部动态跟踪的结果，采用基于手势轨迹和静态姿态匹配的方法进行时空手势序列检测，得到动态手势序列这一步骤，具体包括：在手部动态跟踪过程中进行时空...

【专利技术属性】
技术研发人员：黄劲，朱德明，
申请(专利权)人：盈盛资讯科技有限公司，
类型：发明
国别省市：中国香港,81