本发明专利技术提出了一种利用红外光源、基于可变数多摄像头的手势识别人机交互技术。本方法不需要用户佩戴任何辅助器具，且具有适用环境范围广、运动感知能力全面、造价低廉、计算复杂度低等突出特点。本发明专利技术使用虚拟现实的方法对手部姿态与位置进行建模，并生成模板数据库。在实际使用时，将去除背景的多摄像头输入图像与模板数据库中的条目进行对比，以对比差值最小的数据库条目作为手部姿态初步识别结果。为了使识别结果更稳定，本发明专利技术使用平滑滤波方法对初步识别结果进行修正，给用户提供更平稳的识别数据。除此之外，本发明专利技术还能够对一段连续时间手部动作的序列进行识别，为人机交互提供更丰富的选择。
【技术实现步骤摘要】
本专利技术大体上涉及改进的手部姿态与位置的感知方法。更具体地，本专利技术指示基于多摄像头系统、利用红外光照进行手部姿态与位置的感知的方法，用于提供改进的人机交互技术。
技术介绍
多年来，随着多媒体技术的普及与发展，人们在对新型人机交互技术进行着不懈的探索。使用肢体、手势等直观的方式完成计算机的操纵，成为一个技术热点。人的手部是一种复杂的执行机制，其灵活度高、表现力丰富且可以完成精细的操作，但这些特性也使其姿态的识别与跟踪成为计算机研究中的重大挑战。对手部运动的识别，可以通过多种方法实现。来自微软公司的 US20100199228A1(公开日2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1 (公开日2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。 此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。这些方案实现了对手部运动的识别，但也存在着各种不足。缺点之一是价格昂贵。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照， 然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。该方法比较直观，但需要经过复杂的数学计算过程，且无法对手的空间位置进行识别与跟踪。此外，在手部运动感知领域，还存在着几大技术挑战首先，如何从获取的图像中有效的提取出手部的区域。一些技术方案通过识别人的皮肤颜色进行分割处理，但受到环境光照条件的影响很大，而且对于不同人种的肤色需特别处理。另一些方案，在手上佩戴一些具有颜色的标识，或彩色手套，但同样也受到一定的环境光照影响，且降低了使用设备的舒适程度与方便程度。其次，图像中的手部图像存在严重的自遮挡现象，即是说，在一副图像中，手指、手掌之间可能互相遮盖，使得计算机难以凭借图像中的信息判断出手指的具体姿态。
技术实现思路
本专利技术综合考虑了现有技术中存在的多方面问题，并以较低成本、较低计算复杂度和较低的系统的复杂度为代价，实现了对手部姿态与位置的有效识别。本专利技术具有以下几个重要的特点(a)可适用于多种复杂环境。使用该设备，无需特定的光照环境，无需对使用者及使用环境做过多的约束，也无需在使用者的身体上佩戴任何标志与传感器。也就是说，无论白天、夜晚；室外、室内；使用者的肤色；设备处于静态还是移动中，设备都不用进行改造或特别的设置，即可使用。(b)可以全面的感知手部的运动。其既包括手在任意瞬时的位置与姿态，也包括手部以及手指的运动。(c)不使用复杂、造价昂贵或对生产工艺要求过高的设备。比如高速摄像头、深度摄像头、复杂传感器。(d)无需进行图像归一化处理、图像空间投影等复杂计算过程。根据本专利技术的一种用于多摄像头系统的手部姿态与位置的感知方法，所述多摄像头系统包括数据库，以及处于不同位置的第一摄像头与第二摄像头，所述数据库中有多个数据条目，每个数据条目包括一手部姿态与空间位置信息、与所述第一摄像头相对应的第一手部图像模板，以及与所述第二摄像头相对应的第二手部图像模板；所述手部姿态与位置的感知方法包括(1)利用第一摄像头捕获第一幅图像；利用第二摄像头捕获第二幅图像；(2)处理所述第一摄像头所捕获的第一图像，提取出第一手部区域的图像；处理所述第二摄像头所捕获的第二图像，提取出第二手部区域的图像；(3)对于所述数据库中的每一条数据条目，将第一手部区域的图像，与所述第一手部图像模板相比较，得到第一差值，将第二手部区域的图像，与所述第二手部图像模板相比较，得到第二差值，累加第一差值与第二差值，得到对应于所述数据库中的每一条数据条目的综合差值；(4)选取综合差值最小的一条数据条目的手部姿态与空间位置信息，作为手部姿态与空间位置测量结果；基于所述手部姿态与空间位置测量结果，在屏幕上绘制虚拟手图标或光标。 附图说明当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本专利技术以及优选的使用模式和其进一步的目的和优点，其中附图包括图1绘制了根据本专利技术的用于手部姿态与位置感知的多摄像头系统的整体结构图；图2展示了根据本专利技术的多摄像头系统的控制电路的框图；图3展示了根据本专利技术所使用的手部模型的示意图；图4示出了根据本专利技术的实施例的数据库条目的生成方法；图5展示了根据本专利技术的手部姿态与位置识别方法的流程图；图6展示了根据本专利技术的实施例的手部图像提取的示意图；图7展示了根据本专利技术的实施例的手部图像匹配过程的示意图；图8展示了根据本专利技术的实施例的识别静态手势的示意图。具体实施例方式图1是绘制了根据本专利技术的用于手部姿态与位置感知的多摄像头系统的整体结构图。如图1所示，根据本专利技术的手部姿态/位置感知系统包含计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107，该多摄像头系统还包括在图1中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。图1中的多个摄像头103包括处于不同空间位置的多个摄像头，用于从不同角度拍摄使用者手部104的图像。多个摄像头103具有红外感光能力。可以使用多个红外发光二极管作为系统的照明光源。为了获得稳定的照明效果，增加在图像中提取手部区域的成功率，可设立两类光源。一类为使用红外二极管直接照明，其照明的特点为光强集中，使得被照壳物体的边缘清晰可辨，但可能产生明显的阴影；另一类为在红外二极管上罩有散射材料，使其成为散射光源，其可将一个区域的照明亮度整体提高，但会造成一定的模糊。配合使用两种光源，可以达到较佳的照明效果。红外滤光片，覆于摄像头的镜头外侧，将可见光过滤，保证射入多个摄像头103的光线为红外光源的反射光线。使用滤光片后，多个摄像头103捕获的图像为灰度图像，且不受到外界光源环境的影响。图2展示了根据本专利技术的多摄像头系统的控制电路102的框图。图2展示了一个控制电路102的范例实现。包括存储器管理器201、内部存储器 202、只读存储器203、电源管理模块204、协处理器205、微处理器206、输入输出控制器207、 摄像头控制器208与209、USB控制器210。微处理器206是整个控制电路的核心，可采用 RISC类嵌入式处理器。协处理器205专职处理图像处理相关的任务，具有大规模并行处理能力，可采用DSP(数字信号处理器)或者其他嵌入式向量处理器，也可以采用定制开发的 ASIC(应用专用集成电路)或FPGA(现场可编程逻辑阵列)。微处理器206与协处理器205 之间用中断方式、GPIO(通用输入输出管脚)方式、或者双端口存储器方式进行通讯。微处理器和协处理器通过存储器管理器201访问存储设备，通过输入输出控制器207访问外接设备。存储器管理器201连接了内部存储器202和只读存储器203。内部存储器202承载了控制电路102在运行中的运算数据。由于只读存储器203是非易失性存储设备，可以用来储存控制电路102的启动程序和系统程序。输入输出控制器207是处理器和外部设备的桥梁。处理器通过输入输出控制器 2本文档来自技高网...
【技术保护点】
１．一种用于多摄像头系统的手部姿态与空间位置感知方法，所述多摄像头系统包括数据库，以及处于不同位置的第一摄像头与第二摄像头，所述数据库中有多个数据条目，每个数据条目包括一手部姿态与空间位置信息、与所述第一摄像头相对应的第一手部图像模板，以及与所述第二摄像头相对应的第二手部图像模板；所述手部姿态与空间位置感知方法包括：（１）利用第一摄像头捕获第一幅图像；利用第二摄像头捕获第二幅图像；（２）处理所述第一摄像头所捕获的第一图像，提取出第一手部区域的图像；处理所述第二摄像头所捕获的第二图像，提取出第二手部区域的图像；（３）对于所述数据库中的每一条数据条目，将第一手部区域的图像，与所述第一手部图像模板相比较，得到第一差值，将第二手部区域的图像，与所述第二手部图像模板相比较，得到第二差值，累加第一差值与第二差值，得到对应于所述数据库中的每一条数据条目的综合差值；（４）选取综合差值最小的一条数据条目的手部姿态与空间位置信息，作为手部姿态与空间位置测量结果。
【技术特征摘要】
【专利技术属性】
技术研发人员：刘津甦，党建勋，
申请(专利权)人：刘津甦，党建勋，
类型：发明
国别省市：12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。