基于物件追踪的手势辨识方法及系统技术方案

本发明专利技术提供一种基于物件追踪的手势辨识方法及系统，包括对操作区域打光，能在接收的影像中产生因物件反光而形成的亮区，从该亮区的重心位置、平均亮度或面积的变化判断手势，据以产生指令。本发明专利技术以简单的操作及运算即可检测物件在影像的X轴、Y轴或Z轴的运动，进而辨识出物件移动所表达的手势。

【技术实现步骤摘要】
基于物件追踪的手势辨识方法及系统
本专利技术是有关一种手势检测，特别是关于一种动态手势辨识。
技术介绍
手势控制系统提供简单且直觉式的操作便利性，但是使用诸如触控面板这类接触式的人机接口的系统限制使用者必须紧贴该接口操作，对于某些应用而言相当不便。相反的，使用非接触式接口的手势控制系统让使用者能在相对较远的距离操作，但是必须通过影像的撷取及辨识来判断手势，所以难度较高。一种已知的手势辨识方法是输入可见光影像，从影像中辨识肤色范围，再对肤色范围辨识形状找出手的位置，依据连续影像中手的位置的变化追踪手的位移，进而判断出手势。然而肤色分析需要很复杂的演算法，而且与环境光有密切的关系，错误率比较高。手势的形状辨识也需要复杂的演算法，还要求使用者维持固定的手势形状，例如五指张开或手指比着V字形，因此不能检测某些手势，例如翻掌、握拳变张开手指、张开手指变握拳。不同使用者的手结构差异也增加辨识的困难度或错误率。其他的缺点还有暗处无法检测、需要特定的手掌起手式等等。由于依赖形状辨识来追踪手的位移，所以这类方法只能辨识在影像的X轴及Y轴运动的手势，不能辨识在影像的Z轴运动的手势，因此不能检测手向前推或向后拉的手势。在某些应用中，例如手机或笔记本电脑，使用者的背后可能会有人体移动，这也可能造成辨识错误。另一种依靠连续影像的手势辨识方法，例如微软的体感装置Kinect，除了二维的影像分析以外，还利用影像的深度信息来建立人体的骨架模型，再藉骨架模型来追踪手的位置变化以进行手势辨识。这种方法使用的演算法更复杂，需要更多运算时间，虽然可以检测在影像的Z轴运动的手势，但是只能应用在一个固定的操作距离，而且允许使用者前后移动的空间很小，如果使用者不在预设的操作距离上，或是使用环境不足以提供预设的操作距离，那么这种辨识系统就不能使用。这种操作距离的僵固性对手势辨识系统的制造商造成困扰，制造商只能预设一个合理的操作距离，并以其为基础设定手势辨识系统的参数值，因此这种辨识系统无法适用在不同的场合。上述两种方法皆需大量的运算，因此软硬件的成本比较高，不适合某些较简单的应用，而且大量的运算还会造成系统的反应较慢。上述两种方法也不适合短距离的应用，例如操作距离在1米以内时，系统的稳定度会变差。此外，上述两种方法都需要依赖手的肤色和轮廓来作辨识，所以载手套、手指卷曲或手指不全也不适用，当然也不适用在其他物件操作，例如笔或纸卷。
技术实现思路
本专利技术的目的之一，在于提出一种简单的手势辨识方法及系统。本专利技术的目的之一，在于提出一种较低成本的手势辨识方法及系统。本专利技术的目的之一，在于提出一种基于物件追踪的手势辨识方法及系统。本专利技术的目的之一，在于提出一种可调整操作距离的手势辨识方法及系统。本专利技术的目的之一，在于提出一种可检测物件的三维运动的手势辨识方法及系统。本专利技术的目的之一，在于提出一种适用广泛的操作物件的手势辨识方法及系统。根据本专利技术，一种基于物件追踪的手势辨识方法包括提供光线向操作区域投射，接收来自该操作区域的影像，检测该影像中的亮区，以及从该亮区的重心位置、平均亮度或面积的变化判断手势。根据本专利技术，一种基于物件追踪的手势辨识系统包括发光单元提供光线向操作区域投射，影像感测器从该操作区域撷取影像，以及处理器检测该影像中的亮区，利用该亮区提供的信息进行物件追踪，以及将该物件追踪的结果比对手势定义，以判断操作手势。本专利技术的手势辨识方法不需要运算复杂的深度信息，也不需要知道使用者的手部形状或肤色等等的信息，在应用上相对便利，软硬件的成本也比较低，而且系统的反应快。此外，因为不需要辨识手部形状或肤色，所以操作物件不限于手，只要能反射投射光的物件皆可适用。由于操作距离可动态切换，因此对使用者的空间限制较松。附图说明图1是本专利技术的手势辨识系统的实施例；图2是本专利技术的手势辨识方法的实施例；图3是利用重心位置的变化判断手势的示意图；图4是利用重心位置的变化判断手势的示意图；图5是利用重心位置的变化判断手势的示意图；图6是利用平均亮度的变化判断手势的示意图；图7是物件的前后移动造成亮区面积变化的示意图；图8是利用面积的变化判断手势的示意图；图9是切换操作距离的示意图；图10是利用影像处理的技巧切换操作距离的示意图；图11是使用可移动的透镜调整光的投射角度的实施例；图12是使用可移动的抛物面反射镜调整光的投射角度的实施例；图13是自动切换操作距离的实施例；图14是自动切换操作距离的实施例；以及图15是缩减取样以缩减影像的示意图。附图标号：10影像感测器12发光单元14处理器16物件18发光源20发光源22输入影像24检测亮区26物件追踪28计算重心位置30计算重心位置的变化32手势比对34产生指令36计算平均亮度38计算平均亮度的变化40计算面积42计算面积的变化44优化46影像48影像50影像52光学感测阵列54透镜56透镜58抛物面反射镜60预设操作距离62检测移动物件64检测手势66切换操作距离68计算亮区的面积70判断亮区占一帧影像的面积比例具体实施方式参照图1的实施例，本专利技术的手势辨识系统包括影像感测器10、发光单元12及处理器14。影像感测器10的视角为θ，由其定义的视锥范围即影像感测器10可撷取影像的区域。物件16的操作距离为D，视锥在此距离的截面为物件16的操作区域A。处理器14分别藉控制信号Si及Sl控制影像感测器10及发光单元12，发光单元12提供可见光或不可见光向操作区域A投射，影像感测器10感测的波长范围包括发光单元12提供的光的波长。物件16反射发光单元12提供的光，在影像感测器10接收到的影像中形成亮区。影像感测器10把接收到的影像以视讯VI传给处理器14，处理器14利用亮区提供的信息来追踪物件16，进而判断手势，据以产生指令Sc。处理器14可藉切换影像感测器10的视角θ或利用影像处理技巧来切换操作距离D。影像感测器10可使用定焦镜头或变焦镜头。若使用定焦镜头，则影像感测器10的视角θ是固定的。若使用变焦镜头，则影像感测器10的视角θ可动态调整。较佳者，发光单元12是可调整的，例如，操作距离D越远时，发光单元12提供越高亮度的光。调整发光单元12的方式有很多种，例如，因应操作距离D的改变调整发光单元12的操作电流，以调整发光单元12提供的光亮度；或者在发光单元12中配置不同出光角度的发光源18及20，在较近的操作距离D时使用发光源18，在较远的操作距离D时切换为发光源20，其中发光源18具有较大的出光角度，而发光源20具有相对较小的出光角度；或者使用光学组件来调整发光单元12的出光角度。参照图2，在一实施例中，步骤22输入影像，步骤24检测影像中的亮区，然后步骤26利用亮区提供的信息进行物件追踪，例如，步骤28计算亮区的重心位置，步骤30计算重心位置的变化，步骤32把重心位置的变化与预设的手势定义比对，如果符合某一定义的手势，则步骤34产生该手势相对应的指令Sc，如果重心位置的变化不符合任何手势定义，则回到步骤22继续输入影像实施辨识。较佳者，步骤22具有影像缓冲的功能，当处理器14在进行其他步骤时，步骤22即可先读入下一帧(frame)影像，如此可以缩短整体辨识作业的时间，加快辨识系统的反应速率。在进行步骤24时，使用一个门槛值作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物件追踪的手势辨识方法，其特征在于，所述基于物件追踪的手势辨识方法包括下列步骤：A、提供光线向操作区域投射，并根据切换的操作距离调整所述光线的亮度；B、从所述操作区域撷取影像；C、检测所述影像中的亮区；D、计算所述亮区的平均亮度以进行物件追踪；以及E、将所述物件追踪的结果比对手势定义，以判断操作手势，其中，根据所述亮区的所述平均亮度的变化追踪所述操作手势在Z轴的运动。2.如权利要求1的手势辨识方法，其特征在于，所述步骤B包括正规化所述影像的大小。3.如权利要求1的手势辨识方法，其特征在于，所述步骤C包括使用门槛值比较所述影像的像素的亮度，以决定所述亮区。4.如权利要求1的手势辨识方法，其特征在于，所述步骤D还包括下列步驟：计算所述亮区的面积；以及计算所述面积的变化。5.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括切换向所述操作区域投射光线的角度。6.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括从所述影像撷取一部分，以达到等同于切换所述操作距离。7.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括下列步骤：以第一操作距离检测是否有物件移动；以及若未检测到有物件移动，则切换到第二操作距离。8.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括下列步骤：在第一操作距离时计算所述亮区的面积；判断所述亮区占所述影像的面积比例是否在二门槛值之间；以及若所述亮区占所述影像的面积比例不在二门槛值之...

【专利技术属性】
技术研发人员：黄昱豪，许恩峰，高铭璨，
申请(专利权)人：原相科技股份有限公司，
类型：发明
国别省市：