自学习的基于肤色模型的手部跟踪装置及方法制造方法及图纸

一种自学习的基于肤色模型的手部跟踪装置及方法，该装置包括：预处理单元，用于从本帧图像中提取手部候选区域，以及通过形态学检测，从手部候选区域获取初始手部区域hinit；自学习单元，用手部候选区域和初始手部区域hinit自学习，得到本帧自学习后的手部区域hfinal；以及后序处理单元，用于对本帧自学习后的手部区域hfinal处理，得到手部轮廓和指尖位置；所述自学习单元包括手部跟踪器、手部识别器和P-N学习器。该方法包括预处理步骤、自学习及P-N分类步骤和后序处理步骤，所述自学习及P-N分类步骤包括手部跟踪步骤、手部识别步骤和P-N学习及分类步骤。本装置及方法鲁棒性好，在处理手部经过脸部等重干扰区域或者被遮挡时，能够稳定准确地跟踪手部。

【技术实现步骤摘要】

本专利技术涉及人机交互领域中手势识别和手部跟踪，尤其涉及自学习的基于肤色模 型的手部跟踪装置及方法。
技术介绍
随着计算机技术的发展，人机交互关系技术也经历着巨大的变化，人们希望越来 越方便的同电脑进行交流与互动。当前在人机交互
，多媒体技术的相对成熟极大 地改善了计算机信息表现能力，同时也更显出交互输入手段的严重不足，呈现出人与计算 机输入输出通信带宽的严重脱节。多通道人机交互技术研究打破常规，突破传统交互设备， 如鼠标、键盘、遥控器等的限制，力图使人全方位地与计算机进行通信，彻底解决计算机处 理高维信息所要求的双向高通信带宽。近年来随着虚拟现实技术的迅猛发展，大大地促进 了人们在人脸识别、表情解释、口形识别、头部方位检测、视线跟踪、三维定位、手势解释和 人体姿势解释等方面研究工作的积极性和动力。人的手臂和手掌及手指共有27个自由度(6个臂部自由度，21个掌部自由度)，因 而人的手势可以传达出非常丰富的信息，并且可以作为一种更为直观和自然的交流方式。 可以为实现设备间的互联和完成无缝的数据交换提供“以人为本”的技术。随着智能手机 和平板电脑等新移动终端的普及，智能手势识别技术正成为人们最期望的人机交互技术之O可见，基于视觉进行手势识别的外部条件已经基本成熟。目前，国内对于手势识别 研究处于初步阶段，绝大部分的鲁棒性比较差，比如不能很好的区分手部和脸部区域，易受 干扰等。动态手势识别是手势识别的主要方面，它包括的主要问题有识别和跟踪两个方面。 跟踪是识别的基础，是重中之重。如何提供一种不易受光照影响，不因人种肤色差异而失 效，能有效解决其他移动物体干扰情况下和手部被遮挡情况下跟踪丢失机率大等问题的方 法，是研究手势识别所需的关键技术。有鉴于此，本专利技术立足于提出一种系统鲁棒的手部跟踪的方法和装置，推动手部 识别技术的发展，进而为人机交互添砖加瓦。
技术实现思路
针对现有手部跟踪方法应用于基于视觉的人机交互领域时，跟踪效果易受干扰， 不稳定，在其他移动物体干扰情况下和手部被遮挡情况下跟踪丢失机率大的缺陷，提供一 种。本专利技术提供的自学习的基于肤色模型的手部跟踪装置，包括预处理单元，包括背景模型和肤色模型，用于从本帧图像中提取手部候选区域，以 及用于通过形态学检测，从手部候选区域获取初始手部区域hinit ；自学习单元，用所述手部候选区域和初始手部区域hinit自学习，得到本帧自学习 后的手部区域hfinal;以及后序处理单元，用于对本帧自学习后的手部区域hfinal处理，得到手部轮廓和指尖位置；所述自学习单元包括手部跟踪器、手部识别器和P-N学习器，所述手部跟踪器用于对所述初始手部区域hinit和前一帧自学习后的手部区域hfinal跟踪；所述手部识别器用 P-N学习器识别的前一帧的负样本C在线训线，对所述手部候选区域识别；所述P-N学习器用手部跟踪器的跟踪结果和手部识别器的识别结果训练内部的P-N分类器，以及用P-N 分类器对所述手部候选区域分类，获取本帧自学习后的手部区域hfinal。优选地，所述手部识别器包括离线分类器和在线分类器，二者依次级联，离线分类器用Haar特征进行分类，在线分类器用2bit Binary特征进行在线训练和分类。优选地，所述手部跟踪器包括第一模块，用于对本帧的初始手部区域比_和前一帧自学习后的手部区域hfinal合并，建立搜索窗；第二模块，用于从搜索窗内选取跟踪的特征点；第三模块，用于计算各个特征点的光流向量；第四模块，用于计算光流向量的加权平均值；第五模块，用于将算得的加权平均值作为搜索窗的移动矢量，更新搜索窗。优选地,第三模块中采用Lucas-Kanada稀疏光流法计算光流向量；前一巾贞自学习后的手部区域hfinal特征点的权重大于本帧的初始手部区域hinit特征点的权重。优选地，第二模块选取的特征点包括角点、亮度梯度变化大的点、和/或边缘点。优选地，所述预处理单元中，形态学检测的特征包括圆形度、凸缺陷和/或轮廓。优选地，所述P-N学习器在每次分类后用自学习后的手部区域hfinal和手部运动轨迹更新P-N分类器。本专利技术提供的自学习的基于肤色模型的手部跟踪方法，包括预处理步骤从本 帧图像中提取手部候选区域，以及通过形态学检测，从手部候选区域获取初始手部区域hinit;自学习及P-N分类步骤用所述手部候选区域和初始手部区域比_自学习，得到本帧自学习后的手部区域hfinal ;以及后序处理步骤对本帧自学习后的手部区域hfinal处理，得到手部轮廓和指尖位置；所述自学习及P-N分类步骤包括对所述初始手部区域hinit和前一帧自学习后的手部区域hfinal跟踪的手部跟踪步骤；用P-N学习器识别的前一帧的负样本Λ在线训线，对所述手部候选区域识别的手部识别步骤；以及用手部跟踪器的跟踪结果和手部识别器的识别结果训练P-N分类器，以及用P-N 分类器对所述手部候选区域分类，获取本帧自学习后的手部区域hfinal的P-N学习及分类步骤。 优选地，所述手部跟踪步骤包括对本帧的初始手部区域hinit和前一帧自学习后的手部区域hfinal合并，建立搜索窗；从搜索窗内选取跟踪的特征点；计算各个特征点的光流向量；计算光流向量的加权平均值；将算得的加权平均值作为搜索窗的移动矢量，更新搜索窗。优选地，所述手部识别步骤包括提取手部候选区域的Haar特征，用离线分类器分类得到本帧的正样本￥#^;对P-N分类器识别的前一帧的负样本和离线分类器输入的本帧的正样本// 〃 'e 提取2bit Binary特征，用在线分类器分类，得到正在跟踪的手部区域/<ηΜ。本专利技术手部跟踪装置及方法将P-N学习器识别的正负样本分别反馈给手部跟踪器和手部识别器，并结合手部跟踪器和手部识别器的输出对P-N学习器进行训练，鲁棒性好，在处理手部经过脸部等重干扰区域或者被遮挡时，能够稳定准确地跟踪手部。附图说明图1是一实施例自学习的基于肤色模型手部跟踪装置的原理框图2是预处理单元实现预处理的流程图3是手部跟踪器实现手部跟踪的流程图4是手部识别器实现手部识别的流程图5是P-N学习器实现学习及判定的流程图6是后续处理单元实现后 续处理的流程图。具体实施方式下面结合附图和实施例对本专利技术进一步说明。图1示意性地表示了自学习的基于肤色模型手部跟踪装置的原理。如图1所示，本自学习的基于肤色模型的手部跟踪装置包括预处理单元1，自学习单元2，后序处理单元3。预处理单元I从本帧图像中提取手部候选区域，以及通过形态学检测，从手部候选区域获取初始手部区域hinit和手部识别器的输入对象Σ Oi1, Ivhm)， 自学习单元2用所述手部候选区域和初始手部区域hinit自学习，得到本帧自学习后的手部区域hfinal，后序处理单元3对本帧自学习后的手部区域hfinal处理，得到手部轮廓和指尖位置，从而实现对手部的跟踪。其中，自学习单元2包括手部跟踪器21、手部识别器22和P-N学习器23。手部跟踪器21对本帧的初始手部区域比_和前一帧h学习后的手部区域hfinal跟踪；手部识别器 22用P-N学习器23识别的前一帧的负样本在线训线，对本帧的手部候选区域识别；P-N 学习器23用手部跟踪器21的跟踪结果和手部识别器22的识别结果训练内部的P-N分类器，以本文档来自技高网...

【技术保护点】
一种自学习的基于肤色模型的手部跟踪装置，其特征在于，包括：预处理单元，包括背景模型和肤色模型，用于从本帧图像中提取手部候选区域，以及用于通过形态学检测，从手部候选区域获取初始手部区域hinit；自学习单元，用所述手部候选区域和初始手部区域hinit自学习，得到本帧自学习后的手部区域hfinal；以及后序处理单元，用于对本帧自学习后的手部区域hfinal处理，得到手部轮廓和指尖位置；所述自学习单元包括手部跟踪器、手部识别器和P?N学习器，所述手部跟踪器用于对所述初始手部区域hinit和前一帧自学习后的手部区域hfinal跟踪；所述手部识别器用P?N学习器识别的前一帧的负样本在线训线，对所述手部候选区域识别；所述P?N学习器用手部跟踪器的跟踪结果和手部识别器的识别结果训练内部的P?N分类器，以及用P?N分类器对所述手部候选区域分类，获取本帧自学习后的手部区域hfinal。FDA00002637757200011.jpg

【技术特征摘要】
1.一种自学习的基于肤色模型的手部跟踪装置，其特征在于，包括预处理单元，包括背景模型和肤色模型，用于从本帧图像中提取手部候选区域，以及用于通过形态学检测，从手部候选区域获取初始手部区域hinit ；自学习单元，用所述手部候选区域和初始手部区域hinit自学习，得到本帧自学习后的手部区域hfinal ；以及后序处理单元，用于对本帧自学习后的手部区域hfinal处理，得到手部轮廓和指尖位置；所述自学习单元包括手部跟踪器、手部识别器和P-N学习器，所述手部跟踪器用于对所述初始手部区域4_和前一帧自学习后的手部区域hfinal跟踪；所述手部识别器用P-N学习器识别的前一帧的负样本Λ,Γ在线训线，对所述手部候选区域识别；所述P-N学习器用手部跟踪器的跟踪结果和手部识别器的识别结果训练内部的P-N分类器，以及用P-N分类器对所述手部候选区域分类，获取本帧自学习后的手部区域hfinal。2.根据权利要求1所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，所述手部识别器包括离线分类器和在线分类器，二者依次级联，离线分类器用Haar特征进行分类，在线分类器用2bit Binary特征进行在线训练和分类。3.根据权利要求1所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，所述手部跟踪器包括第一模块，用于对本帧的初始手部区域hinit和前一帧自学习后的手部区域hfinal合并， 建立搜索窗；第二模块，用于从搜索窗内选取跟踪的特征点；第三模块，用于计算各个特征点的光流向量；第四模块，用于计算光流向量的加权平均值；第五模块，用于将算得的加权平均值作为搜索窗的移动矢量，更新搜索窗。4.根据权利要求3所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，第三模块中采用Lucas-Kanada稀疏光流法计算光流向量；前一巾贞自学习后的手部区域hfinal特征点的权重大于本帧的初始手部区域hinit特征点的权重。5.根据权利要求3所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，第二模块选取...

【专利技术属性】
技术研发人员：杨志博，袁博，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：