一种基于视觉跟踪和手势识别的人机交互方法技术

本发明专利技术公开了一种基于视觉跟踪和手势识别的人机交互方法,本发明专利技术包括一个可变焦的高清红外摄像头以及多个高清红外摄像头。本发明专利技术装置安装在屏幕的边框或边框上方。其中可变焦的高清红外摄像头采集视觉的信息，再通过视觉观察屏幕的位置和拍摄的图像进行标定，最后通过本发明专利技术装置的专用处理器实现瞳孔的识别，从而实现本发明专利技术方法的第一步视觉跟踪。本发明专利技术的第二步在视觉跟踪之后，多个高清红外摄像头在视觉观察屏幕的区域实现手势的识别，即完成人机交互。再通过摄像头对屏幕进行标定，对手势进行三维成像，并判断手势触摸点的位置和动作。本发明专利技术实现了具有视觉跟踪的手势识别人机交互系统，提供了智能的非接触式的人机交互方式。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了,本专利技术包括一个可变焦的高清红外摄像头以及多个高清红外摄像头。本专利技术装置安装在屏幕的边框或边框上方。其中可变焦的高清红外摄像头采集视觉的信息，再通过视觉观察屏幕的位置和拍摄的图像进行标定，最后通过本专利技术装置的专用处理器实现瞳孔的识别，从而实现本专利技术方法的第一步视觉跟踪。本专利技术的第二步在视觉跟踪之后，多个高清红外摄像头在视觉观察屏幕的区域实现手势的识别，即完成人机交互。再通过摄像头对屏幕进行标定，对手势进行三维成像，并判断手势触摸点的位置和动作。本专利技术实现了具有视觉跟踪的手势识别人机交互系统，提供了智能的非接触式的人机交互方式。【专利说明】
本专利技术属于计算机人工智能
，更具体地，涉及。
技术介绍
技术的进步使人与计算机之间的交互越来越接近自然方式的交互，也就是人们大力倡导的“自然交互”。触摸技术这种轻松的人机交互方式已经被推向了众多的领域，除了应用在个人便携式数码产品之外，它还被广泛地应用在信息家电、公共信息、电子游戏、办公室自动化设备以及工业设备等领域。利用触摸技术，用户只需要用手势轻轻触碰屏幕上的文字或图标就能够实现与计算机的交互，使得人与机器之间的交互更加直观便捷。而现有的触摸技术必须通过人手接触屏幕从而完成人机交互的过程。这种接触式的触摸技术当人远离屏幕时无法实现与屏幕的自然交互，必须通过遥控器等装置控制屏幕，不能提供良好的人机交互体验，因此上述触摸技术在人工智能应用中存在局限性。视觉跟踪技术利用视觉的变化代替人手在触摸屏上的运动，使人远离屏幕时仍可以定位屏幕上的任意区域。通过眼睛的运动使用触摸屏，减少了许多步骤，加速以人为中心的智能化人机交互的发展与实现。目前这种技术还仅限于眼动仪，人脸识别等方面的应用，还未应用在触摸
。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了，其目的在于，能够在任意具有屏幕特性的屏幕例如电脑液晶屏、普通液晶屏、投影仪屏幕、大型显示器上实现视觉跟踪，并实现非接触式控制屏幕的人机交互方式。为实现上述目的，按照本专利技术的一个方面，提供了，包括以下步骤:(I))将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框处；(2)可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取；(3)计算步骤(2)获得的人脸轮廓中左、右瞳孔中心的像素坐标(ueU vj和(UeR，VeR);(4)根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer ；(5)通过步骤(4)得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域:【权利要求】1.，其特征在于，包括以下步骤: (1))将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框处； (2)可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取； (3)计算步骤(2)获得的人脸轮廓中左、右瞳孔中心的像素坐标vj和(UeK，Vdi)； (4)根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer ； (5)通过步骤(4)得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域: 2.根据权利要求1所述的人机交互方法，其特征在于，步骤(2)包括以下子步骤: (2-1)利用可变焦高清红外摄像头采集人脸图像，并用掩膜法对采集的人脸图像去噪； (2-2)利用Sobel算子对人脸图像上的像素点做梯度变换，以得到人脸轮廓。3.根据权利要求2所述的人机交互方法，其特征在于，步骤(3)具体为，在步骤(2)获得的人脸轮廓中使用SOBEL算子得到左瞳孔的左右像素坐标值为ulel、uHeL,左瞳孔的上下像素坐标值为νlel、νhel，左瞳孔的中心像素坐标值(uel,vel)为(ulel+uhel/2,，vlel+vhel/2)，右瞳孔的中心像素坐标值(uer, ver)为(uLer+uHer/2, vLer+vHer/2)。4.根据权利要求1所述的人机交互方法，其特征在于，步骤(6)具体为，利用张正友标定对屏.进行标定，以获得标定物在左右闻清红外摄像头上的像素坐标，每个标定物在左右高清红外摄像头上的像素坐标(Ulm，Vlm)、(u2m, V2m)，其中m为标定点的个数，并利用以下等式分别获得左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr: 5.根据权利要求1所述的人机交互方法，其特征在于，步骤(7)具体包括以下子步骤: (7-1)左、右高清红外摄像头分别采集用户手势触摸屏幕的图像，并将采集到的图像与初始化帧的图像对应点上像素点相减，以组成新的图像； (7-2)对步骤(7-1)获得的新的图像进行图像去噪； (7-3)利用Sobel算子对图像上的像素点做梯度变换，以得到边缘检测图； (7-4)根据步骤(7-3)获取的边缘检测图对左、右高清红外摄像头上的像素点进行K曲率判别，以获得用户的手势在左、右高清红外摄像头上的成像坐标(u1F，v1F)和(u2F，v2F)。6.，其特征在于，包括以下步骤: (1))将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框处； (2)可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取； (3)计算步骤(2)获得的人脸轮廓中左、右瞳孔中心的像素坐标vj和(UeK，Vdi)； (4)根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer ； (5)通过步骤(4)得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域: 【文档编号】G06K9/60GK103713738SQ201310693150【公开日】2014年4月9日 申请日期:2013年12月17日 优先权日:2013年12月17日 【专利技术者】何辉, 李磊, 刘凌志, 汪志冰 申请人:武汉拓宝电子系统有限公司本文档来自技高网...

【技术保护点】
一种基于视觉跟踪和手势识别的人机交互方法，其特征在于，包括以下步骤：（1））将红外光源、用于进行视觉跟踪的可变焦高清红外摄像头、以及多个用于进行手势识别的高清红外摄像头安装在屏幕边框处；（2）可变焦高清红外摄像头采集人脸图像，并对采集的人脸图像进行人脸轮廓提取；（3）计算步骤（2）获得的人脸轮廓中左、右瞳孔中心的像素坐标(ueL,veL)和(ueR,veR)；（4）根据人脸轮廓中左右瞳孔中心的像素坐标以及屏幕四个角的坐标计算左右瞳孔的投影矩阵Mel和Mer；（5）通过步骤（4）得到的左右瞳孔的投影矩阵Mel和Mer以及左右瞳孔的中心像素坐标值计算左、右瞳孔在屏幕上的物理坐标值，该物理坐标值所对应的区域为用户执行手势操作的区域： u eL v eL 1 = Mel Xel Yel 1 u eR v eR 1 = Mer Xer Yer 1 其中（Xer，Yer）表示右瞳孔在屏幕上的物理坐标值，（Xel，Yel）表示左瞳孔在屏幕上的物理坐标值；（6）根据双目视觉的原理对放置有高清红外摄像头的屏幕进行参数标定，以分别获得左、右高清红外摄像头的投影矩阵Ml和Mr；（7）高清红外摄像头采集用户手势触摸屏幕的图像，对采集的图像进行预处理，以获取用户的手势在左高清红外摄像头上的成像坐标(u1F,v1F)以 及在右高清红外摄像头上的成像坐标(u2F,v2F)；（8）根据用户的手势操作在左高清红外摄像头上的成像坐标(u1F,v1F)以及在右高清红外摄像头上的成像坐标(u2F,v2F)、以及左高清红外摄像头的投影矩阵Ml和右高清红外摄像头的投影矩阵Mr，并通过以下等式获得用户的手势在屏幕上的三维空间坐标(xf,yf,zf)，其中该手势操作是在上述步骤（5）中获得的物理坐标值对应的区域中： u 1 F v 1 F 1 = Ml x f ...

【技术特征摘要】

【专利技术属性】
技术研发人员：何辉，李磊，刘凌志，汪志冰，
申请(专利权)人：武汉拓宝电子系统有限公司，
类型：发明
国别省市：湖北;42