本申请公开了一种基于图像的手部检测、手势识别系统，以及一种从图像检测人手、推断手势并从人的手势序列识别用户指令的车载人机交互方法。该申请提供基于手势的交互系统以提供基于手势的识别系统以用户的手势及获取用户的命令输入。系统包括捕捉车辆内部二维图像的装置。手势识别处理器将用户的手部图像从捕捉的图像中的检测出来，从分离的手部图像分析解释用户的手势并生成输出。命令执行器从手势识别处理器接收输出并生成解释命令，以声光电之一者或结合给出提醒信息、以及执行手势对应操作。
【技术实现步骤摘要】
本申请涉及一种车载人机交互系统，尤其涉及一种从人的手部图像序列识别用户指令的车载人机交互方法、设备和系统。
技术介绍
现有技术中已有用于乘员与车辆之间交互的系统，包括方向盘上的开关，车辆中控面板上的旋钮，触摸屏界面及触控板。然而，有时候驾驶员并不能轻易的完成其中很多操作，尤其是那些中控面板上提供的控制。这可能会导致驾驶员经常去搜索想要的开关，并且驾驶员经常需要伸出手去试探、触摸想要的控制功能。语音命令可以提供一些操作功能，然而当语音用于需要可变输入的简单操作时却又不大方便。此时，语音命令需要更长的时间，驾驶员更愿意通过他的手进行快速操作。方向盘上的按钮提供了快速操作的界面，然而其有限的空间限制了其可集成的操作种类。因此，需要一种更好的能够在驾驶员和车辆控制功能之间交互系统，其可有效地解决前面提及的问题。
技术实现思路
本申请公开了一种基于图像的手部检测、手势识别系统，以及一种从图像检测人手、推断手势并从人的手势序列识别用户指令的车载人机交互方法。在一个实施例中，该申请提供基于手势的交互系统以提供基于手势的识别系统以用户的手势及获取用户的命令输入。系统包括捕捉车辆内部二维图像的装置。手势识别处理器将用户的手部图像从捕捉的图像中的检测出来，从分离的手部图像分析解释用户的手势并生成输出。命令执行器从手势识别处理器接收输出并生成解释命令，以声光电之一者或结合给出提醒信息、以及执行手势对应操作。在另一实施例中该申请提供了一种解释用户手势以获取用户命令的方法。该方法包括捕捉用户手部图像并将手部从捕捉的图像中分离出来。分析分离的图像获得用户的手势。然后，解释用户的命令并执行相应的操作。附图说明图1所示为本申请所述的一种车载单目摄像机人机交互方法的流程图。具体实施方式下述详细说明公开了本专利技术的各个方面及其实施方式。然而，这种说明并非是对本专利技术的限定或限制，这种限定或限制仅包含在权利要求中。虽然已公开了实施本专利技术的最佳实施方式，但本领域技术人员应当了解其他实施或者实现本专利技术的实施方式也是可能的。本申请涉及基于图像的手势识别系统及解释用户的手势并通过解释手势获取用户期望的命令输入的方法。下面结合附图对本申请做进一步详细叙述。参阅图1，一种车载单目摄像机人机交互方法，包括如下步骤：1)启动摄像头1120，摄像头启动可以由设备控制启动，如外部传感触发，也可以是随系统上电启动持续运行；2)拍摄图像1130，摄像头获取驾驶室内图像，该图像可能包含用户手部；图像处理模块从摄像头处获取图像并检测是否有手部，如有则提取出手部图像骨架；3)若无手部，重复步骤2）；否则，将所检测的手部图像骨架存入手部图像缓存1180；4)手势识别模块1190分析手部图像缓存1180中的手部图像骨架数据并与其存储的手势模板做匹配，根据匹配的结果输出相应的控制命令。摄像头安装于中控台并面向用户（如司机）的右手部位附近，捕捉的范围较大，在使用过程中，驾驶员不用将视线偏离前方，直接对着摄像头能捕捉到的区域作出手势；摄像头启动后，红外闪光灯1170由摄像头的快门信号控制以进行补光并抑制环境光影响。更进一步地，所述的步骤2）中，图像处理模块按如下步骤获取识别手势:1)采集大量样本图像1300，样本图像被分为正样本图像1400和负样本图像1410，其中正样本图像指图像中包含有手部图像，特别的，包含有特定手式的图像如手掌、握拳等，而负样本图像中则不包含手部图像；提取图像中的特征1430，包括但不限于局部二值特征（LocalBinaryPattern,LBP），哈尔特征（HarrFeature）等；基于所获得的特征数据使用机器学习方法1440，如支持向量机（SVM）、随机森林等方法，训练获得分类器1450；该步骤为离线工作，在识别系统启动之前预先完成；2)摄像头拍摄图像1130后，使用5）中相同的特征提取方法提取图像特征1140得到特征图，对特征图应用特征匹配1150，对于SVM特征匹配指比较特征与分类器的向量內积的大小；而随机森林方法则为直接给出某个特征是否属于手部的一个判断；3)检出人手图像1160后，对其应用图像骨架化方法获得人手图像骨架并存入手部图像缓存1180；4)手势分析模块1190基于手部图像缓存1180分析匹配手势，该匹配过程同样采用机器学习的方法，计算手部图像缓存中的手部骨架序列与预存储的手势之间的余弦相似性作为距离。若找到匹配的手势则输出命令1200并由相应执行机构运行。优选的，本申请的一种车载单目摄像机人机交互设备，基于前述一种车载单目摄像机人机交互方法主要包括以下部分a）图像输入设备，一般为与中控台集成的摄像头该摄像头安装为汽车空调中部出风口附近；或者为一个外接的摄像设备通过USB等数据线路与中控台链接；或者为外接可计算设备，如一部自带摄像头的手机。b）运算设备，基于图像输入设备所获取的图像匹配搜索手部图像，并计算出其所对应之手势向执行设备发出指令。优选的，本申请的一种车载单目摄像机人机交互系统，基于前述一种车载单目摄像机人机交互设备，还包括一套机器学习系统用户获得分类器1450.在一个典型的配置中，计算设备包括一个或多个处理器（CPU）、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（FlashRAM）。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPR0M）、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘（DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（transitorymedia),如调制的数据信号和载波。本说明书中的各个实施例一般采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块或单元。一般地，程序模块或单元可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。一般来说，程序模块或单元可以由软件、硬件或两者的结合来实现。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块或单元可以位于包括存储设备在内的本地和远程计算机存储介质中。最后，还需要说明的是，术语\包括\、\包含\或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多本文档来自技高网...
【技术保护点】
一种车载单目摄像机人机交互方法，其特征在于，包括：检测、定位待识别的图像中的手部信息，并保存该结果；依据所保存的手部图像信息，计算匹配手势信息并对执行机构发出命令；手部检测定位使用特征匹配的方法，在图像中搜索，特征一般选用局部二值特征。
【技术特征摘要】
1.一种车载单目摄像机人机交互方法，其特征在于，包括：检测、定位待识别的图像中的手部信息，并保存该结果；依据所保存的手部图像信息，计算匹配手势信息并对执行机构发出命令；手部检测定位使用特征匹配的方法，在图像中搜索，特征一般选用局部二值特征。2.根据权利要求1所述的方法，其特征在于，包括：检测、定位待识别的图像中的手部信息，并且对其做骨架化以及保存该结果；依据所保存的手部图像信息，计算匹配手势信息并对执行机构发出命令；手部检测定位使用特征匹配的方法，在图像中搜索，特征一般选用局部二值特征。3.根据权利要求1所述的方法，其特征在于，包括：检测、定位待识别的图像中的手部信息，并且对其做骨架化以及保存该结果；依据所保存的手部图像骨架信息，计算匹配手势信息并对执行机构发出命令；手部检测定位使用特征匹配的方法，在图像中搜索，特征一般选用局部二值特征。4.根据权利要求1所述的方法，其特征在于，对获取手部图像进行复杂特征向量提取包括：基于定位所获取的一个目标物体图像，对所述目标物体图像统一大小标准；预设一像素块，对所述目标物体图像上的每个所述像素块的图像逐点计算图像特征，以获得所述字符信息图像的复杂特征向量。5.根据权利要求4所述的方法，其特征在于，所述逐点计算图像特征包括：所述像素块与其相邻的像素块形成区块，对所述区块选取476维的特征向量描述；在所述目标物体图像上分别沿横向、纵向移动，组合得到对所述目标物体图像的高维的特征向量描述。6.根据权利要求1所述的方法，其特征在于，还包括：输入步骤，利用图像捕捉方式输入待检测图像；验证步骤，对手部进行验证以确认最终检测结果；执行步骤，执行所匹配的手势命令。7.一种车载单目摄像机人机交互设备，其特征在于，包括：图像输入设备，获取手部图像信息；计算设备，检测、定位待识别的图像中的手部信息，并保存该结果；依据所保存的手部图像信息，计算匹配手势信息并对执行机构发出命令；执行设备，执行相应的手势命令。8.根据权利要求7所述的设备，其特...
【专利技术属性】
技术研发人员：韩龙，李扬，陈果，孙超，
申请(专利权)人：上海羽视澄蓝信息科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。