基于隐马尔科夫模型判断手势运动方向的方法技术

本发明专利技术涉及基于隐马尔科夫模型判断手势运动方向的方法，包括：a.人脸识别；b.多线索融合得到手势区域灰度图；c.根据手势区域灰度图，更新手势运动历史图，并获得运动能量图；d.划分向量水平夹角；e.通过运动能量图获得手势运动的开始时刻和结束时刻，分割出手势运动；f.对隐马尔科夫模型参数进行训练，利用隐马尔科夫模型的前向、后向算法推定手势运动方向。本发明专利技术基于隐马尔科夫模型判断手势运动方向的方法，通过多种判断条件对隐马尔科夫模型的手势运动方向进行判断，能够提高手势运动判断的准确性，能够明显降低各种因素对判断结果的干扰。

【技术实现步骤摘要】

本专利技术涉及视频图像处理领域，具体的讲是基于隐马尔科夫模型(HMM)判断手势运动方向的方法。
技术介绍
近年来，随着计算机在现代社会影响的迅速扩大，多模式人机交互在现实生活中的应用越来越广泛。基于视觉的手势识别已成为新一代人机交互不可或缺的技术。手势是一种自然、直观、易于学习的人机交互手段，以人手直接作为计算机的输入设备，人机间的通讯将不再需要媒介。基于计算机的手势识别是具有发展趋势的一种识别技术，但技术上存在很多困难。如手势来源于复杂背景(人自身干扰、光照、场景等)条件下的视频流、手具有弹性的特点、手具有大量冗余特征信息(如掌纹等)、手势在三维空间如何识别等，这些问题目前还未完善解决，具体实现需要增加限制条件。如何克服手势识别中的技术问题，使其改变未来人机交互模式，目前有许多研究者致力于此项目。目前，手势识别视频流的获取分为2D摄像头与3D摄像头。3D摄像头获得的是手势的三维信息，其成本昂贵不利于普及。因此现阶段大多致力于廉价的USB 2D摄像机手势识别技术，具有积极意义。现有的手势运动方向判定主要是单一的基于手势运动跟踪，通过计算手位移距离从而判定其运动方向的方法。但是由于手是非刚体物体，且手势跟踪一般基于肤色进行， 导致这种基于跟踪的方法不稳定，易受环境光照、及背景色的干扰，无法形成正确的跟踪轨迹。
技术实现思路
针对以上出现的问题，本专利技术提供了一种，通过多种判断条件对隐马尔科夫模型的手势运动方向进行判断，提高判断的准确性，降低各种因素对判断结果的干扰。本专利技术，包括a.通过摄像头进行人脸检测，以确定用户进入系统识别范围，可以采用常规的 Adaboost检测器进行人脸检测；b.从视频流中获取当前运动图像，建立肤色概率模型，作为手势运动过程中肤色分割的依据，将肤色概率图与帧差结果相乘后的数据经中值滤波器进行滤波，得到手势区域灰度图；c.根据当前手势区域灰度图，更新手势运动历史图，并获得运动能量图；d.对有效的手势运动历史图进行图像梯度向量计算，得到手势运动向量和向量水平夹角，再将向量水平夹角规划到360度平面区域划分的相应区域对应的编码中；e.通过运动能量图获得手势运动的开始时刻和结束时刻，分割出手势运动；f.通过步骤a 步骤e对一段视频的分析，获得该视频中一个运动方向的编码序列，通过所述的编码序列得到隐马尔科夫模型的可见状态序列，对隐马尔科夫模型参数进行训练，利用隐马尔科夫模型的前向、后向算法推定手势运动方向。本专利技术的方法不依赖于手势的跟踪效果，而是将手的肤色信息与手势的运动信息 (帧差)相融合，这样能较准确的分割出手势。在此基础上构建出手势运动历史图和运动能量图，并根据手的运动特征自适应切分手势运动间隔，计算并获得该时间间隔内一系列手势运动的方向角度特征，使用该角度特征序列构建隐马尔科夫模型，并利用该模型的前、后向算法推断最有可能的手势运动方向，从而实现手势运动的判定。具体的一种方案为，步骤c所述的更新手势运动历史图的方法为叉=，其中Ητ(χ，y, t)为当前的手势运动历史图，为当前的手势区域灰度图，τ为描述运动的时间范围的参数，δ为手势运动历史图的衰减参数，I为手势区域二值分割的阈值。通过大量的仿真试验和测试，为取得较好的运动判断，优选的衰减参数δ =0.5， 阈值ξ = 10。另一种具体的方案为，步骤c所述的获得运动能量图的方法为( 、「I H Ax,y,t) > I ET{x,y,t) = \，其中E,(x，y，t)为运动能量图，τ为描述运动的时间范围的参数，X，I分别为运动能量图的横纵坐标，t为时刻。进一步的，步骤e所述的通过运动能量图获得手势运动的开始时刻和结束时刻的方法为计算两个不同时刻的运动能量图累加的差，如果所述的差值> 400为手势运动开始，如果所述的差值< 20为手势运动结束。其中400和20的取值是经过大量实验的统计数据。具体的，步骤f中所述利用隐马尔科夫模型的前向、后向算法推定手势运动方向为根据所述的隐马尔科夫模型的可见状态序列，通过隐马尔科夫模型参数的状态转移概率和观测值概率，计算运动模型概率，根据最大的运动模型概率对应的运动模型对整个系统的手势运动方向进行判断。具体的，步骤f中对隐马尔科夫模型参数进行训练包括Π.初始化待训练模型参数，根据动作编码设定待训练模型参数的各个状态转移矩阵；f2.根据待训练模型参数和隐马尔科夫模型可见状态的观察值序列，训练新模型参数如果新模型下获得所述观察值序列的概率的对数一待模型下获得所述观察值序列的概率的对数< delta，则训练结束；否则将重复步骤f2。优选的，步骤d中对手势在上、下、左、右四个方向的运动进行计算。优选的，为克服运动噪声，步骤f中截取所获得的编码序列的中间6 8个编码为隐马尔科夫模型的可见状态序列，进一步优选为截取8个编码。测试得知，本专利技术，通过多种判断条件对隐马尔科夫模型的手势运动方向进行判断，能够提高手势运动判断的准确性，能够明显降低各种因素对判断结果的干扰。以下结合由附图所示实施例的具体实施方式，对本专利技术的上述内容再作进一步的详细说明。但不应将此理解为本专利技术上述主题的范围仅限于以下的实例。在不脱离本专利技术上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本专利技术的范围内。附图说明图I是本专利技术的流程图。具体实施例方式如图I所示本专利技术，包括a.通过摄像头进行人脸检测，以确定用户进入系统识别范围，采用常规的 Adaboost检测器检测当前巾贞f (x, y, t)中人脸个数numf,如果在某个位置附近出现持续人脸个数numf > O且在2秒以上，则认为有用户进入场景；b.从视频流中获取当前运动图像，建立肤色概率模型，作为手势运动过程中肤色分割的依据，在HSV(色调、饱和度、亮度)颜色空间，统计大量肤色与非肤色信息， 建立归一化的H-S(色调、饱和度)肤色直方图，用于后续视频帧图像的肤色分割，肤色分割的阈值概率设定为O. 85，当前帧的的肤色概率图权利要求1.，其特征为包括a.通过摄像头进行人脸检测，以确定用户进入系统识别范围；b.从视频流中获取当前运动图像，建立肤色概率模型，作为手势运动过程中肤色分割的依据，将肤色概率图与视频帧差结果相乘后的数据经中值滤波器进行滤波，得到手势区域灰度图；c.根据当前手势区域灰度图，更新手势运动历史图，并获得运动能量图；d.对有效的手势运动历史图进行图像梯度向量计算，得到手势运动向量和向量水平夹角，再将向量水平夹角规划到360度平面区域划分的相应区域对应的编码中；e.通过运动能量图获得手势运动的开始时刻和结束时刻，分割出手势运动；f.通过步骤a 步骤e对一段视频的分析，获得该视频的一个运动方向的编码序列， 通过所述的编码序列得到隐马尔科夫模型的可见状态序列，对隐马尔科夫模型参数进行训练，利用隐马尔科夫模型的前向、后向算法推定手势运动方向。2.如权利要求I所述的，其特征为步骤c所述的更新手势运动历史图的方法为=，其中Ητ (x,y,t)为当前的手势运动历史图，炉0，>^)为当前的手势区域灰度图，τ为描述运动的时间范围的参数，δ为手势运动历史图的衰减参数，ξ为手势区域二值分割的阈值。3.如权利要求2所述的，其特征为所述本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：刘恒，赵仕才，张彩虹，吕金钢，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：