一种实时手势跟踪方法及跟踪系统技术方案

本发明专利技术公开了一种实时手势跟踪方法和系统，通过图像传感器获取图像信息，利用相应的处理单元完成帧间图像信息提取，实时统计不变的背景和运动的物体，减少背景对跟踪的影响，利用肤色信息和人脸检测技术实现对背景的再分离，然后利用快速的KLT跟踪算法完成目标的准确跟踪，从而实现基于肤色和运动信息的混杂实时手势跟踪系统。

【技术实现步骤摘要】

本专利技术涉及视频运动图像数据处理及机器视觉领域，特别涉及一种利用手的皮肤颜色和手势的运动信息混杂实现手势跟踪的方法和实现该方法的系统。
技术介绍
实时的手势跟踪算法一直是图像处理和机器视觉领域研究的热点问题，同时也是难点问题，尽管已经提出了一系列的跟踪算法，并且取得了较好的效果，中国专利公开号 CN102053702A，就公开了一种动态手势控制系统与方法。但这些跟踪方法都存在一定的缺陷，如camshift方法只用于了肤色信息，导致手势的准确跟踪存在问题，因而影响人机交互技术的发展，究其原因是人的手势具有多样性和复杂性，另外各人所处的环境差异很多， 因此，如何在复杂的背景中实现手目标的准确跟踪至关重要。关于手势跟踪算法，主要有光流法、基于肤色信息的跟踪方法和camshifft方法等。光流是空间运动物体在观测成像面上的像素运动的瞬时速度，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。光流场(optical flow field)是指图像灰度模式的表观运动。它是一个二维矢量场，它包含的信息即是各像点的瞬时运动速度矢量信息，研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像一种光的“流”，故称之为光流(optical flow) 0 光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。目前手势跟踪算法主要是分成三类，一类是基于肤色信息的手势跟踪算法，基于肤色特征的手势检测方法有三个缺陷，一是光照对肤色影响很大，导致手势检测在一些情况下，完全失效；二是在实际过程中，人脸等也会作为目标进入检测系统中；三是当背景中存在和肤色相关的背景时，背景也会被认为是目标；另一类也是肤色信息的改进型即 camshift方法，由于利用了 meanshift算法，其跟踪性能比第一类要有提高，但当有肤色干扰时，跟踪精度有会明显下降；基于光流场的光流法对目标跟踪有好的效果，对光照变化较鲁棒，同时背景的变化对其影响较少，因此成为了目标跟踪的首选，在实际应用中，由于遮挡性、多光源、透明性和噪声等原因，使得光流场基本方程的灰度守恒假设条件不能满足， 不能求解出正确的光流场，同时大多数的光流计算方法相当复杂，计算量巨大，不能满足实时的要求，因此一般不被对精度和实时性要求比较高的监控系统所采用。
技术实现思路
本专利技术通过图像传感器获取图像信息，利用相应的处理单元完成帧间图像信息提取，实时统计不变的背景和运动的物体，减少背景对跟踪的影响，利用肤色信息和人脸检测技术实现对背景的再分离，然后利用快速的KLT跟踪算法完成目标的准确跟踪，从而实现基于肤色和运动信息的混杂实时手势跟踪系统。本专利技术为实现其目的而采用的技术方案是一种实时手势跟踪方法，包括以下步骤步骤A、利用图像传感器单元获取目标的彩色影像；步骤B、以提高图像质量为目标，对影像进行处理；步骤C、从影像中的每帧图像中区分目标与背景；步骤D、在目标中剔除人脸，目标中剩余部分即为手势；步骤E、利用光流法完成手势跟踪，并对系统的可信度进行评估。进一步的，上述的实时手势跟踪方法中所述的步骤A中，图像传感器为摄像头或者其它网络摄像机。进一步的，上述的实时手势跟踪方法中所述的步骤A中，所述的目标是指人像。进一步的，上述的实时手势跟踪方法中所述的步骤B中对影像处理包括对视频信号进行除噪和放大。进一步的，上述的实时手势跟踪方法中所述的步骤C中利用先验的肤色信息完成背景与人像目标的分离。进一步的，上述的实时手势跟踪方法中所述的步骤C中包括以下分步骤CO1、将步骤B中处理后的影像中的每一帧图像转化到HSV空间；C02、在HSV空间里，利用先验肤色信息，确定每一帧图像中的肤色区域，并将非肤色区域剔除。进一步的，上述的实时手势跟踪方法中所述的步骤E中并对系统的信度进行评估考虑到以下几点肤色特征信息的条件；非人脸；包含运动信息；前一帧跟踪区域与当前帧的区域要具有相似性。本专利技术还提供一种实时手势跟踪的系统，包括显示影像及图形界面影像显示单元、获取视觉信息的图像感应单元、图像处理单元；运动信息统计单元、人脸检测单元、肤色提取单元、KLT跟踪单元和综合集成单元；所述的图像感应单元的输出接所述的图像处理单元；所述的运动信息统计单元的输入端与所述的图像处理单元的输出端相连利用帧间信息完成运动信息的统计，去除不动的背景；所述的人脸检测单元的输入端与所述的图像处理单元的输出端相连，利用人脸检测技术，实现人脸的提取；所述的肤色提取单元的输入端与所述的图像处理单元的输出端相连，利用肤色特征信息，去除背景；所述的KLT跟踪单元的输入端分别与所述的图像处理单元的输出端、所述的运动信息统计单元的输出端和所述的人脸检测单元的输出端相连，实现目标的跟踪；所述的综合集成单元的输入端分别与所述的图像处理单元的输出端、所述的运动信息统计单元的输出端、所述的人脸检测单元的输出端的和所述的KLT跟踪单元的输出端相连，其输出端与影像及图形界面影像显示单元相连；利用肤色特征信息、人脸检测和运动信息，对跟踪目标进行可信度评估。本专利技术利用在影像显示设备上的图像传感和处理单元，通过对运动信息统计、肤色提取技术、KLT跟踪技术的综合集成，完成手势的实时跟踪，从而实现基于肤色信息和运动信息的混杂实时手势跟踪系统设计。附图说明图1是本专利技术系统框图。图2是本专利技术的流程图。图3是肤色提出流程。图4是KLT跟踪目标流程图。图5是本专利技术实施例流程图。具体实施例方式实施例1，本实施例通过图像传感器获取图像信息，利用相应的处理单元完成帧间图像信息提取，实时统计不变的背景和运动的物体，减少背景对跟踪的影响，利用先验的肤色信息和人脸检测技术实现对背景的再分离，然后利用快速的KLT跟踪算法完成目标的准确跟踪，从而实现基于肤色和运动信息的混杂实时手势跟踪系统。本实施例是一种实时手势跟踪系统，其结构方框图如图1所示，的主要构成包括影像显示单元负责显示影像及图形界面，一般可以说是一个显示器，比如电视机或者计算机的显示器。普通图像感应单元负责获取视觉信息，比如摄像机或者网络摄像机等，能够获得目标的影像。图像处理单元负责对上面影像中的每一帧图像进行处理，主要就是滤波和放大， 滤波可以滤除噪声，放大使有用信号增大，图像感应单元摄取的是由一帧帧图像组成的影像，将每一帷幄图像去噪与目标增强，为下一步的目标的有效提取和提取特征信息提供保障。运动信息统计单元利用帧间信息完成运动信息的统计，去除不动的背景，由于不运动的物体在各帧之间的图像是不变的，因此两帧一差分就只有运动的物体存在信息，其他会接近0，统计运动图像的大小，防止噪声对其的影响。人脸检测单元利用人脸检测技术，实现人脸的提取，减少人脸对跟踪系统的影响。本实施例利用Opencv的人脸检测技术，完成人脸的检测，确定人脸在一帧中的位置，以便去除人脸的影响。肤色提取单元利用肤色特征信息，负责部分背景的去除，这里只本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：刘远民，
申请(专利权)人：康佳集团股份有限公司，
类型：发明
国别省市：