一种无接触人机交互方法和装置制造方法及图纸

本申请公开了一种无接触人机交互方法和装置。与目前大部分基于手势识别的交互方法不同，该方法不仅要识别用户手部图像信息中操控点的平面位置，还要识别该操控点的深度位置，根据该操控点的位置深度变化输出对应的控制指令，丰富了无接触人机交互中指令调用的丰富性和灵活性。性和灵活性。性和灵活性。

A contactless human-computer interaction method and device

【技术实现步骤摘要】
一种无接触人机交互方法和装置


[0001]本申请涉及人机交互
，特别涉及一种无接触人机交互方法和装置。

技术介绍

[0002]无接触人机交互是指在不接触设备的情况下，向设备发出控制指令。无接触人机交互是继鼠标、键盘和触控屏等接触式人机交互之后新的交互方式，其能够避免传统交互方式可能带来的病毒接触感染和操作不便，在虚拟现实、增强现实等领域将会有广泛的应用。
[0003]目前常用的无接触人机交互方式多为语音控制和无线信号控制等方式来实现的，但是这些无接触人机交互方式的应用条件受到应用场景的限制，难以广泛推广。因此，基于图像识别的无接触人机交互方式备受本领域研发团队的关注。
[0004]目前的基于图像识别的无接触人机交互方式大多是通过摄像头获取用户手部的二维平面图像，而后对该手部图像进行图像处理识别出手指位置或手势轮廓以判断用户的控制指令。但是由于是基于二维平面图像的处理，控制指令的变化受限，在一些复杂的软件中，难以准确快捷地调用出控制指令。

技术实现思路

[0005]本申请的目的在于提供一种无接触人机交互方法和装置，其能够改善上述问题。
[0006]本申请的实施例是这样实现的：
[0007]第一方面，本申请提供一种无接触人机交互方法，其包括：
[0008]获取操作空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；
[0009]识别所述用户手部图像信息中的操控点；
[0010]根据所述操控点的位置深度变化输出对应的控制指令。
[0011]可以理解，第一方面所公开的无接触人机交互方法，与目前大部分基于手势识别的交互方法不同，该方法不仅要识别用户手部图像信息中操控点的平面位置，还要识别该操控点的深度位置，根据该操控点的位置深度变化输出对应的控制指令，丰富了无接触人机交互中指令调用的丰富性和灵活性。
[0012]对应的，本申请还提供一种无接触人机交互装置，其包括：信息采集模块，用于获取操作空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；操控识别模块，用于识别所述用户手部图像信息中的操控点；指令处理模块，用于根据所述操控点的位置深度变化输出对应的控制指令。
[0013]在本申请可选的实施例中，所述根据所述操控点的位置深度变化输出对应的控制指令，包括：将第一时间阈值内所述操控点在同一个平面坐标位置的位置深度变化周期数作为指令数；根据所述指令数输出对应的控制指令。
[0014]其中，第一时间阀值受深度摄像头限制，第一时间阀值不得少于深度摄像头获取
每帧画面的时间。例如深度摄像头拍摄深度信息数据30FPS,即表示每秒钟获取30帧深度信息数据，也就是说这里的第一时间阀值最小值是1/30秒。
[0015]可以理解，操控点在同一个平面坐标位置的位置深度变化周期，可以理解为该操控点在同一个平面位置的深度由深到浅再到深的过程，即用户的控制手指的点击操作。上述指令数即在第一时间阈值内用户的点击次数，若指令数为1则可以理解为单击操作，输出单击操作对应的控制指令，比如选择指令；若指令数为2则可以理解为双击操作，输出双击操作对应的控制指令，比如打开程序指令。指令数与控制指令的对应关系可以是预设的也可以是由用户自定义产生的，比如用户可以自定义单击操作对应什么控制指令，双击操作对应什么控制指令等。
[0016]需要说明的是，本方法并不仅仅通过单击或双击的动作确定用户的指令，还会结合操控点的位置、速度变化、移动方向等参数综合做出对应的判断，这是本领域人员根据现有技术容易想到的。还需要说明的是，操控点的位置、速度变化、移动方向等参数与控制指令的对应关系也可以是预设的或者由用户自定义产生的。这也是本领域人员根据现有技术容易想到的，具体实现方式这里不再赘述。
[0017]在本申请可选的实施例中，所述根据所述操控点的位置深度变化输出对应的控制指令，包括：将第二时间阈值内所述操控点的平面运动轨迹以及其所对应的深度轨迹作为操控点轨迹；根据所述操控点轨迹输出对应的控制指令。
[0018]其中，第二时间阀值受深度摄像头限制，第二时间阀值不得少于深度摄像头获取每帧画面的时间。例如深度摄像头拍摄深度信息数据30FPS,即表示每秒钟获取30帧深度信息数据，也就是说这里的第二时间阀值最小值是1/30秒。
[0019]可以理解，目前的大部分基于手势识别的交互方法，由于只处理用户手部图像信息中的像素平面图像信息，因此其识别出来的操控点轨迹也是平面的，实际应用中非常容易出现错误。本方法不仅考虑了操控点的平面运动轨迹还考虑了操控点的深度轨迹，只有在操控点的平面运动轨迹和深度轨迹均满足预设条件时才输出对应的控制指令。大大地提高了无接触人机交互的准确性。
[0020]第二方面，本申请提供又一种无接触人机交互方法，其包括：
[0021]获取操作空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；
[0022]识别所述用户手部图像信息中的操控点；
[0023]将所述第三时间阈值内所述操控点在同一个平面坐标位置的位置深度变化值作为指令参数值；
[0024]根据所述指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单。
[0025]其中，第三时间阀值受深度摄像头限制，第三时间阀值不得少于深度摄像头获取每帧画面的时间。例如深度摄像头拍摄深度信息数据30FPS,即表示每秒钟获取30帧深度信息数据，也就是说这里的第三时间阀值最小值是1/30秒。
[0026]可以理解，本申请提供的一种无接触人机交互方法，可以根据操控点的位置深度变化值，调用出该位置深度变化值对应的指令菜单。即用户手指按下不同的深度将调用出该深度对应的指令菜单。相比传统的鼠标右键的单层指令菜单调用功能，本方法能够使用户轻松调用出多层的指令菜单，丰富了快捷调用的指令数量。
[0027]对应的，本申请还提供又一种无接触人机交互装置，相比于第一方面公开的无接触人机交互装置，还包括多层指令菜单模块，用于将所述第三时间阈值内所述操控点在同一个平面坐标位置的位置深度变化值作为指令参数值；根据所述指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单。
[0028]在本申请可选的实施例中，所述根据所述指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单，包括：在所述指令参数值达到第一参数阈值且未达到第二参数阈值的情况下，输出第一菜单打开指令，使得显示设备显示第一指令菜单；在所述指令参数值达到第二参数阈值的情况下，输出第二菜单打开指令，使得显示设备显示第二指令菜单。
[0029]对应的，所述多层指令菜单模块，具体用于在所述指令参数值达到第一参数阈值且未达到第二参数阈值的情况下，输出第一菜单打开指令，使得显示设备显示第一指令菜单；在所述指令参数值达到第二参数阈值的情况下，输出第二菜单打开指令，使得显示设备显示第二指令菜单。
[0030]第三方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无接触人机交互方法，其特征在于，包括：获取操作空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；识别所述用户手部图像信息中的操控点；根据所述操控点的位置深度变化输出对应的控制指令。2.根据权利要求1所述的无接触人机交互方法，其特征在于，所述根据所述操控点的位置深度变化输出对应的控制指令，包括：将第一时间阈值内所述操控点在同一个平面坐标位置的位置深度变化周期数作为指令数；根据所述指令数输出对应的控制指令。3.根据权利要求1所述的无接触人机交互方法，其特征在于，所述根据所述操控点的位置深度变化输出对应的控制指令，包括：将第二时间阈值内所述操控点的平面运动轨迹以及其所对应的深度轨迹作为操控点轨迹；根据所述操控点轨迹输出对应的控制指令。4.根据权利要求1所述的无接触人机交互方法，其特征在于，所述根据所述操控点的位置深度变化输出对应的控制指令，包括：通过空间深度按压多层指令虚拟机将所述第三时间阈值内所述操控点在同一个平面坐标位置的位置深度变化值作为指令参数值；根据所述指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单。5.根据权利要求4所述的无接触人机交互方法，其特征在于，所述根据所述指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单，包括：在所述指令参数值达到第一参数阈值且未达到第二参数阈值的情况下，输出第一菜单打开指令，使得显示设备显示第一指令菜单；在所述指令参数值达到第二参数阈值的情况下，输出第二菜单打开指令，使得显示设备显示第二指令菜单。6.根据权利要求1所述的无接触人机交互方法，其特征在于，在识别所述用户手部图像信息中的操控点之前，所述方法还...

【专利技术属性】
技术研发人员：李辉，
申请(专利权)人：广州瑜悦科技有限公司，
类型：发明
国别省市：