手势跟踪方法及系统技术方案

本发明专利技术提供一种手势跟踪方法，包括如下步骤：设计手势的表观模型，包括用于跟踪预测和预测验证的图像描述方式；手势检测获得目标的初始状态，获得目标的位置、大小信息；根据所述初始状态对目标的跟踪器进行初始化，包括初始化表观模型，即初始化用于跟踪预测和预测验证的图像描述模板，并初始初始化手势的类别、状态、以及可见性；根据所述跟踪器信息，通过跟踪处理对目标的状态和可见性做出最终估计；判断目标的可见性，其中，若永久丢失，则需要重新启动检测来获得一个跟踪目标，否则，继续跟踪。本发明专利技术还提供一种手势跟踪系统。本发明专利技术中的手势跟踪方法及系统，具有简单、快速而稳定的优势。

【技术实现步骤摘要】

本专利技术涉及基于视觉和图像的目标跟踪及人机交互领域，尤其涉及一种适用于电视嵌入平台的手势跟踪方法及系统。
技术介绍
基于手势的人机交互操作作为一种重要的人机交互方法，近年来广受关注。例如，通过普通摄像头采集用户的动作画面，通过模式识别算法，对图像中的手部特征进行检测和跟踪，将手部的运动信息转化为电视屏幕光标的运动信息，反馈给智能电视终端，并触发相应的操作命令，如电视节目的切换，电视光标的移动，以及简单的游戏互动等。手势识别技术基于智能终端所配备的摄像头，在终端安装相应的识别软件，即可完成以上操作，因而在硬件成本和操作方式上都具有极大的优势，因而该技术正在逐渐成为智能电视的标配模块。其中所涉及到的一个关键问题就是如何准确而流畅地进行手部特征的跟踪，从而使得显示器鼠标或者电视屏幕光标随着手的移动而准确地移动，这一过程也称为手势跟踪技 术。然而现有的基于视觉方法的手势跟踪方法，存在着以下普遍问题1)稳定性差，受到环境光照和复杂背景等因素的影响，以及手部在运动过程中产生的角度改变导致的图像中的手形的改变，极其容易造成跟踪目标的丢失和操作中断；2)计算效率低，基于肤色、形状等手部特征信息，容易受到外界因素干扰，而基于高复杂度在线机器学习和训练等方法，又极大的提高了跟踪算法的复杂度，庞大的运算量使其难以在低运算能力的嵌入式平台，如智能电视平台上稳定流畅的运行。因而如何开发简单快速而稳定的手势目标跟踪算法，使其可以在低运算能力的嵌入式平台上得以应用已成为目前急需解决的问题，而对于所有的手势交互系统而言，跟踪的准确性和稳定性直接关系到用户操作的流畅性和体验程度，因而是手势人机交互系统的关键问题之一。
技术实现思路
本专利技术针对以上问题，提出了一种可行的简单快速而稳定的手势跟踪方法，所述手势跟踪方法包括设计手势的表观模型，包括用于跟踪预测和预测验证的图像描述方式；手势检测获得目标的初始状态，即目标的位置、大小信息；根据所述初始状态对目标的跟踪器进行初始化，包括初始化表观模型，即初始化用于跟踪预测和预测验证的图像描述模板，并初始化跟踪器所记录的被跟踪手势的类别、状态(位置&尺寸)、以及可见性；根据所述跟踪器信息，通过跟踪处理对目标的状态和可见性做出最终估计；判断目标的可见性，其中，若永久丢失，则需要重新启动检测来获得一个跟踪目标，否则，继续跟踪。优选地，还包括如下步骤根据上一帧的目标状态设定跟踪限制区域R，用于跟踪当前帧中的目标。优选地，还包括如下步骤所述跟踪处理中的操作，包括预测、验证和局部检验，仅局限于所述的跟踪限制区域R之中进行。优选地，还包括如下步骤在所述跟踪限制区域R内，对被跟踪手势之外的其他手势进行检测，用于当手势突变时对手势的表观模型进行更新。优选地，当从局部检测结果中发现存在手势类别的变化时，则放弃原来的手势模型，用检测的结果重新初始化跟踪器信息和表观模型。优选地，在目标状态做预测的步骤中，采用的是颜色直方图结合cam-shift的办法，根据前一帧或者前若干帧的目标状态，对当前帧中的目标状态做出预测。优选地，对预测结果做验证的步骤中，采用的是分块LBP直方图和边缘梯度方向直方图这样两种描述方式。 优选地，还包括如下步骤根据所述跟踪处理的结果，对所述跟踪器的信息进行更新，包括对表观模型的更新，和对跟踪器所记录的手势类型、状态以及可见性的更新。优选地，当目标发生短暂丢失的时候，并不立即终止跟踪进程；而是依据先前帧的状态设置较大范围的跟踪限制区域，往后的若干帧继续在此限制区域内做跟踪处理。本专利技术还提出了一种手势跟踪系统，其中，用于跟踪处理的模块包括以下子模块手势的表观模型、跟踪器初始化模块、跟踪预测模块、预测验证模块、局部检测模块以及模型更新模块。其中，手势的表观模型，包括用于跟踪预测和预测验证的图像描述方式；跟踪器初始化模块，用于使用所述手势检测模块对预定义手势进行检测，并当检测到某类手势时，对跟踪器进行初始化，包括初始化表观模型，以及初始化跟踪器中记录的的手势类别、状态、以及可见性；跟踪预测模块，用于结合手势的表观模型描述，根据前一帧或者前若干帧中的目标状态，对当前帧中的目标状态做出预测；预测验证模块，从当前帧预测状态所对应的目标图像中，提取用于预测验证的特征，与手势的表观模型中相应的用于预测验证的图像特征做比较，确定预测结果是否有效；模型更新模块，用于根据所述跟踪处理的结果，对所述跟踪器初始化模块中跟踪器所记录的手势类型、状态以及可见性的信息进行更新，以及对手势的表观模型进行更新。优选地，还包括局部检测模块，用于根据前一帧的目标状态，确定跟踪限制区域，对被跟踪手势之外的其他手势进行检测。基于以上问题，本专利技术提出了一种稳定而高效的手势目标跟踪方法，使其可以在智能电视等嵌入式平台上稳定流畅运行。从技术层面，I)首先通过设置跟踪限制区域来缩小跟踪范围，一方面减少图像处理量，另一方面可以有效减少全局跟踪带来的大场景背景干扰因素；2)通过使用多种特征融合的描述方法，对跟踪预测的结果做验证，有效抑制错误匹配；3)通过局部检测在手势突变时，及时对跟踪模型进行更新；4)目标丢失后，在最近状态的基础上继续跟踪，减少目标短暂丢失造成的跟踪终止，从而使得整个操作更加高效而流畅。附图说明图I是本专利技术手势跟踪系统的一实施例的结构示意图。图2是本专利技术中手势跟踪方法的总的流程图。图3是本专利技术中跟踪模块内对单帧图像处理的操作流程图。图4是本专利技术中跟踪过程中跟踪限制区域示意图。图5是本专利技术的一个实现系统中所用的四种手势的示例图。具体实施例方式如图I所示，为本专利技术一种手势跟踪系统10的结构示意图。手势跟踪系统应用于智能电视平台系统I等。在本实施方式中，手势跟踪系统10所在的平台系统I至少还包括图像获取模块20以及手势检测模块30。图像获取模块20通常是摄像头，用于捕捉用户的手势。在其他实施方式中，图像获取模块20也可以设置在手势跟踪系统10中。手势检测模块30，对用于对预定义手势进行检测，获取初始化的手势状态。手势跟踪系统10包括手势的表观模型11、跟踪器初始化模块12、跟踪预测模块13、预测验证模块14、局部检测模块15以及模型更新模块16。手势的表观模型11，包括用于跟踪预测和预测验证的图像描述方式。 在本实施方式中，通过使用多种特征联合的方式来表达目标的表观模型，S卩，分别选用两组特征描述方式Ωρ和Ων，基于Ωρ建立的特征模板用于跟踪预测当中的相似性度量，基于Ω V建立的特征模板，用于对跟踪中预测结果做进一步检验，预防误检的情况。跟踪器初始化模块12，使用预先训练的手势检测模块30在预设区域(或整幅图像中)进行预定义手势的检测，一旦稳定地检测到某类手势，则据此检测结果，对跟踪器的参数进行初始化。在本实施方式中，跟踪器信息不仅记录被跟踪手势所属何种手形，被跟踪手势的状态(位置&大小)，被跟踪手势的可见性；还包含有被跟踪目标表观模型的参数信息。跟踪目标初始化的具体方式参照下文中实施例中的跟踪目标初始化。跟踪预测模块13，采用颜色直方图结合cam-shift方法，结合被跟踪目标的模型描述，根据前一帧或者前若干帧中的目标状态，对当前帧中的目标状态做出预测，跟踪预测也仅仅局限在跟踪限制区域中进行。跟踪预测的具体方式参照下本文档来自技高网...

【技术保护点】
一种手势跟踪方法，其特征在于，包括如下步骤：设计手势的表观模型，包括用于跟踪预测和预测验证的图像描述方式；手势检测获得目标的初始状态，即目标的位置、大小信息；根据所述初始状态对目标的跟踪器进行初始化，包括初始化表观模型，即初始化用于跟踪预测和预测验证的图像描述模板，并初始化跟踪器所记录的被跟踪手势的类别、状态以及可见性，其中状态包括位置与尺寸信息；根据所述跟踪器信息，通过跟踪处理对目标的状态和可见性做出最终估计；判断目标的可见性，其中，若永久丢失，则需要重新启动检测来获得一个跟踪目标，否则，继续跟踪。

【技术特征摘要】

【专利技术属性】
技术研发人员：宋展，赵颜果，聂磊，杨卫，郑锋，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：