一种人机交互方法技术

本发明专利技术提供了一种人机交互方法，该人机交互方法包括：获取含有深度信息的使用者手部的待测图像序列；在待测图像序列的每帧图像中检测出使用者的手部轮廓；利用预设的手部结构模板，在待测图像序列的每帧图像中确定每只手的待测特征点序列；在多个预设特征点序列中确定每只手的待测特征点序列的匹配序列，以确定每只手的动作名称和位置；在预设手势表中选择与使用者双手的动作名称和位置相匹配的手势；根据预设操作指令表，确定与已识别手势对应的操作指令；对与确定的操作指令相关的设备进行与该操作指令对应的操作。本发明专利技术的上述技术能够在人机交互过程中准确识别使用者的手势，识别精度较高，而且识别速度较快。

【技术实现步骤摘要】

本专利技术涉及计算机技术，尤其涉及一种人机交互方法。
技术介绍
随着移动计算设备从笔记本电脑到手机、平板电脑的演化，移动计算设备的操控方式也经历了从键盘、鼠标到手机按键、手写板，再到触摸屏、虚拟键盘的进化，可以看到，移动设备的操控方式是朝着越来越直观、简便，并且符合人的自然习惯的方向进化的。目前在移动计算设备上广泛使用的基于触摸屏的操控方式，技术上是将一块透明的触摸感应屏和显示屏贴合在一起，触摸感应屏实质上是一个定位装置，能够捕捉到屏幕上的触摸动作并获取其位置，同时结合时间轴信息，将动作识别其为点触、长触、滑动等动作之一。进而将位置和动作信息作为指令传递给移动计算设备，移动计算设备基于该指令做出相应的操作反应。由于触摸感应屏与显示屏是叠加在一起的，因此带给使用者“所点即所想”的使用感受，相比鼠标、触控板等定位设备需要通过光标反馈位置的输入方式，屏幕触控方式带来更好的使用体验。屏幕触控方式相比键盘加鼠标的方式，更加符合人的直观反应、更容易学习，但是屏幕触控方式毕竟只捕捉到了人体手指的动作，在一些需要更多使用者本体信息输入的场合，比如运动游戏、模拟训练、复杂操控、远距离操控等，屏幕触控方式就显示出其捕获人体信息过于单一的局限性了。从人机交互的角度，更多的使用者信息的获取，将能够传达更丰富、更精准的使用者操作意图，因此必然能够带来更便利的操控方法和更好的使用体验。然而，目前的人机交互技术中的手势识别处理所采用的算法较为复杂、耗费时间且识别精度低，实时性较差，不适合即时交互需求的场合。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。鉴于此，本专利技术提供了一种人机交互方法，以至少解决现有的人机交互技术中的手势识别处理所采用的算法较为复杂、耗费时间且识别精度低的问题。根据本专利技术的一个方面，提供了一种人机交互方法，所述人机交互方法包括：步骤一、获取含有深度信息的使用者手部的待测图像序列；步骤二、根据图像深度信息和图像颜色信息，在所述待测图像序列的每帧图像中检测出所述使用者的手部轮廓；步骤三、针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列的每帧图像中确定该只手的待测特征点序列；步骤四、针对所述使用者的每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据所述匹配序列确定该只手的动作名称和位置；步骤五、在预设手势表中选择与所述使用者双手的动作名称和位置相匹配的手势，作为已识别手势；步骤六、根据预设操作指令表，确定与所述已识别手势对应的操作指令；步骤七、对与确定的操作指令相关的设备进行与该操作指令对应的操作。进一步地，步骤三可以包括：步骤三一、针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；步骤三二、针对所述使用者的每只手，利用该只手在所述待测图像序列的各帧图像中对应的预定数目个特征点，获得该只手的待测特征点序列。进一步地，步骤一可以包括：通过捕获预定成像区域内的所述使用者手部的图像，获得可见光图像序列和红外图像序列为所述可见光图像序列第i帧图像坐标(x,y)处的像素值，而为所述红外图像序列第i帧图像坐标(x,y)处的像素值，根据如下公式获得抽取使用者双手信息的图像序列：ITi(x,y)=αIIi(x,y)+βICi(x,y)2IIi(x,y)≥λ0IIi(x,y)<λ]]>其中，α、β、λ为预设参数阈值，为获取的含有深度信息的使用者双手的图像序列，作为所述待测图像序列，i＝1,2,…,M，M为所述待测图像序列所包含的图像帧数。进一步地，步骤二可以包括：针对所述待测图像序列中的每帧图像结合颜色信息删除该帧图像中的噪声点及非肤色区域，利用边缘检测算子E(·)对删除所述噪声点和所述非肤色区域后所得到的图像进行边缘检测，得到边缘图像所述边缘图像即为仅包含所述使用者手部轮廓的图像。进一步地，步骤三一包括：针对所述待测图像序列的每帧图像执行以下处理：根据该图像中的轮廓线的曲率找到该轮廓线中的指尖点和指根关节点；将所述指尖点作为定位基点，匹配每个单指的指根关节点，得到各单指的长度作为尺度缩放的基准；基于所述指尖点和所述指根关节点的位置以及各单指的长度对相应的所述手部结构模板进行缩放和形变，通过匹配得到每只手的各指关节特征点和手腕中点特征点；其中，所述手部结构模板包括左手结构模板和右手结构模板，所述左手结构模板和右手结构模板各自包括：各手指的指尖特征点、各指关节特征点、各指根关节特征点、手腕中点特征点以及各特征点之间的拓扑关系。进一步地，步骤四可以包括：步骤四一、针对每只手的待测特征点序列，根据预定时间窗将该待测特征点序列分割为多个子序列，并获得每个子序列对应的平均位置；步骤四二、针对每只手对应的每个子序列，将该子序列与所述多个预设特征点序列中的每一个分别进行匹配，在所述多个预设特征点序列中选择与该子序列的匹配程度高于预设的匹配阈值、并且最大的预设特征点序列，作为该子序列的匹配序列；步骤四三、将每个子序列对应的平均位置与该子序列的匹配序列对应的动作名称相关联；步骤四四、针对每只手，将该只手对应的各子序列的匹配序列作为该只手对应的多个匹配序列，并将该多个匹配序列各自对应的动作名称作为该只手的多个动作名称。进一步地，步骤五可以包括：步骤五一、预先设置如下映射列表来作为所述预设手势表：该映射列表中的每个映射的左端是一组动作名称对及每个动作名称对的位置；该映射列表中的每个映射的右端是一个手势；步骤五二、将所述预设手势表中的每个映射的左端与所述使用者双手的动作名称和位置进行匹配，其中，动作名称的匹配执行严格匹配，而位置则是通过使用者双手各自的平均位置计算得到相对位置信息，进而计算该相对位置信息与映射左端的位置之间的相似度来实现的。进一步地，所述人机交互方法还可以包括：步骤八：将所述使用者每只手的位置传递给所述设备，以基于所述使用者每只手的位置在所述设备的屏幕上显示所述使用者手部的半透明简化手部模拟图形。进一步地，步骤八可以包括：步本文档来自技高网...

【技术保护点】
一种人机交互方法，其特征在于，所述人机交互方法包括：步骤一、获取含有深度信息的使用者手部的待测图像序列；步骤二、根据图像深度信息和图像颜色信息，在所述待测图像序列的每帧图像中检测出所述使用者的手部轮廓；步骤三、针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列的每帧图像中确定该只手的待测特征点序列；步骤四、针对所述使用者的每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据所述匹配序列确定该只手的动作名称和位置；步骤五、在预设手势表中选择与所述使用者双手的动作名称和位置相匹配的手势，作为已识别手势；步骤六、根据预设操作指令表，确定与所述已识别手势对应的操作指令；步骤七、对与确定的操作指令相关的设备进行与该操作指令对应的操作。

【技术特征摘要】
1.一种人机交互方法，其特征在于，所述人机交互方法包括：
步骤一、获取含有深度信息的使用者手部的待测图像序列；
步骤二、根据图像深度信息和图像颜色信息，在所述待测图像序列的每帧
图像中检测出所述使用者的手部轮廓；
步骤三、针对所述使用者的每只手，利用预设的手部结构模板，在所述待
测图像序列的每帧图像中确定该只手的待测特征点序列；
步骤四、针对所述使用者的每只手，在多个预设特征点序列中确定该只手
的待测特征点序列的匹配序列，以根据所述匹配序列确定该只手的动作名称和
位置；
步骤五、在预设手势表中选择与所述使用者双手的动作名称和位置相匹配
的手势，作为已识别手势；
步骤六、根据预设操作指令表，确定与所述已识别手势对应的操作指令；
步骤七、对与确定的操作指令相关的设备进行与该操作指令对应的操作。
2.根据权利要求1所述的人机交互方法，其特征在于，步骤三包括：
步骤三一、针对所述使用者的每只手，利用预设的手部结构模板，在所述
待测图像序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；
步骤三二、针对所述使用者的每只手，利用该只手在所述待测图像序列的
各帧图像中对应的预定数目个特征点，获得该只手的待测特征点序列。
3.根据权利要求1或2所述的人机交互方法，其特征在于，步骤一包括：
通过捕获预定成像区域内的所述使用者手部的图像，获得可见光图像序列
和红外图像序列为所述可见光图像序列第i帧图像坐标
(x,y)处的像素值，而为所述红外图像序列第i帧图像坐标(x,y)处的像素值，
根据如下公式获得抽取使用者双手信息的图像序列：
ITi(x,y)=αIIi(x,y)+βICi(x,y)2IIi(x,y)≥λ0IIi(x,y)<λ]]>其中，α、β、λ为预设参数阈值，为获取的含有深度信息的使用
者双手的图像序列，作为所述待测图像序列，i＝1,2,…,M，M为所述待测图像序
列所包含的图像帧数。
4.根据权利要求1或2所述的人机交互方法，其特征在于，步骤二包括：
针对所述待测图像序列中的每帧图像结合颜色信息删除该
帧图像中的噪声点及非肤色区域，利用边缘检测算子E(·)对删除所述噪声
点和所述非肤色区域后所得到的图像进行边缘检测，得到边缘图像
ITfi(x,y)=E(ITei(x,y))]]>所述边缘图像即为仅包含所述使用者手部轮廓的图像。
5.根据权利要求2所述的人机交互方法，其特征在于，步骤三一包括：
针对所述待测图像序列的每帧图像执行以下处理：根据该图像中的轮廓线
的曲率找到该轮廓线中的...

【专利技术属性】
技术研发人员：李建英，朱磊，韩琦，杨晓光，
申请(专利权)人：哈尔滨市一舍科技有限公司，
类型：发明
国别省市：黑龙江;23