基于Kinect的屏幕菜单体感交互方法技术

本发明专利技术提供了面向Kinect的大屏幕菜单体感交互方法。基于人体运动感知原理，通过判断用户姿势是否为特定的操作指令，进行菜单的交互使用。本发明专利技术技术不要求用户在空中进行精确的点击和滑动操作，而只是凭借手臂与身体的角度进行菜单命令选择，选择过程中，用户无需高度视觉注意即可大概感知手臂与身体的角度。因此，本发明专利技术所涉及的技术具有实现简单、交互自然的优点。

【技术实现步骤摘要】
基于Kinect的屏幕菜单体感交互方法
本专利技术涉及一种菜单交互设计方案，适用于面向Kinect体感交互式大屏幕的命令选择。
技术介绍
基于Kinect的体感交互式大屏幕有着广泛的应用场景，例如用于家庭游戏娱乐、展览馆里观众的互动展示等。体感检测设备Kinect可检测用户的身体骨骼数据，进而识别其身体姿态动作，以便支持用户使用身体作为输入工具操控大屏幕。体感交互式大屏幕的最显著特点在于它不要求用户穿戴或者手持任何设备，因此用户能够快速启动交互过程、执行人机交互任务。菜单命令选择是同大屏幕交互的必要步骤。目前针对Kinect大屏幕的菜单界面设计往往基于桌面交互设备中的设计范式。普遍方案是将手掌模拟成鼠标，手掌在空间的位置映射成屏幕的光标坐标。移动手掌可以相应移动光标，进而选择菜单项。菜单界面的设计形式有：1)线性菜单。该设计基于主流的桌面菜单设计模式，菜单项的排列成线性。如果选择菜单项，则需要移动光标并在目标选项上停留一段时间以进行选择确定；2)扇形菜单。基本形式是将圆等分为八个扇形，每一个等分扇形对应一个菜单项。选择菜单项，则需要将手掌对应光标从圆心出发向圆的弧滑动。当滑动距离超过某一阈值，则选定该菜单项。以上技术是将手掌模拟成鼠标，因此执行他们需要手掌进行较高精度的定位或者移动，以便选择菜单项。但是，由于缺乏依托，在空中进行手臂和手掌的精准运动是一项较为疲劳和困难的任务，因此造成交互效率低下。鉴于体感交互式大屏幕的广泛应用，有必要设计更符合人因工程学的菜单交互方式。
技术实现思路
专利技术目的：针对目前Kinect体感交互大屏幕中菜单交互效率低下的问题，本专利技术基于人因工程学提出了一种屏幕菜单体感交互方案，以克服目前菜单交互技术的局限。技术方案：基于Kinect的屏幕菜单体感交互方法，包括步骤：(1)菜单等待激活，用户通过姿势与屏幕进行交互，屏幕判断用户的姿势是否为激活姿势，若是，则显示菜单，等待后续输入命令；若否，则菜单继续等待激活；(2)用户通过姿势进行菜单选择命令，屏幕对用户姿势进行确认；若存在次级菜单，则更新菜单界面；若无次级菜单，则执行菜单命令；(3)用户通过姿势选择退出菜单，屏幕判断是否为菜单退出命令，若是，则退出菜单；否则继续等待后续输入命令。所述步骤(1)屏幕判断用户的姿势是否为激活姿势具体为：判断用户姿势中肩关节、肘关节和腕关节构成的三角形是否为锐角三角形，若是，则表明当前姿势为激活姿势。所述菜单为圆形，并将其等分为八份，每一份对应一个菜单项；所述步骤(2)中屏幕确认用户姿势具体为：通过手臂角度判断用户手臂是否在所要选择的菜单命令的菜单项内，其中手臂角度是计算水平线到肩关节和腕关节连线的夹角；手臂需在菜单项内停留500ms至1000ms以确定选择。所述步骤(3)中屏幕判断用户姿势是否为菜单退出命令具体为：计算两个手臂肩关节、肘关节和腕关节对应的角度是否大于150°，如果大于，则表示用户姿势为菜单退出命令。有益效果：1)本专利技术易于用户学习。菜单界面激活姿势和菜单项选择姿势的设计都基于用户生活中常用动作，因此用户在经过短暂学习后即可熟练使用；2)菜单交互设计基于人体运动感知原理，易于用户交互使用。人机交互中，高度视觉注意的交互动作(例如精确点击、滑动)往往导致长的任务时间和高的错误率。本专利技术技术不要求用户在空中进行精确的点击和滑动操作，而只是凭借手臂和身体姿势进行菜单命令选择。选择过程中，用户在无需高度视觉注意的情况下，能够大概感知手臂与身体的角度。例如，用户向左或者向右伸出手臂，能够轻松将手臂与身体大致形成90°。这种基于人体运动感知的交互方式不要求高度视觉注意，因此能够产生较好的交互表现；3)本专利技术针对的是体感交互大屏幕，目前常见的体感交互设备可满足技术实现要求(即检测到身体骨骼数据)，无需其他设备，因此技术专利技术经济实用；4)本专利技术软件设计简单，不包含复杂的算法，便于实现和移植，因此设计方案应用范围广。附图说明图1为本专利技术的菜单界面激活方式示意图；其中，(a)界面激活姿势；(b)激活姿势检测示意图，实线为体感设备所检测的骨骼数据，虚线为所画连线；(c)界面退出姿势。图2为本专利技术的菜单命令选择方式示意图；其中，(a)手臂摆动进行菜单选定；(b)手臂角度计算，其中实线为体感设备所检测的骨骼数据，虚线为所画连线；(c)在屏幕上的菜单界面，加粗线段和虚直线为示例所用。图3为本专利技术的体感交互流程图。具体实施方式下面结合附图对本专利技术作更进一步的说明。本专利技术所采用的技术方案包含三部分。第一，菜单界面激活方式。如图1所示，本专利技术采用“隐式”菜单方式，即菜单在通常状态下不可见，只有用户需要选择命令才被激活呈现出来。这种“隐式”菜单的优点在于它处于非激活状态下不会占据屏幕空间。本专利技术设计了如下“隐式”菜单激活机制。如图1(a)所示，用户双手叉腰，即表示该激活机制。本专利技术选择此姿势有两个原因:1)该姿势是日常生活中较为常用的姿势，便于用户记忆和执行；2)该姿势在已有体感交互中应用较少，不会与其他交互方式冲突，因此可以作为一种可用的菜单界面激活方式。本专利技术设计了一种简单的算法来判断双手叉腰的动作。如图1(b)所示，当用户双手叉腰时，肩关节、肘关节和腕关节构成的三角形(左手对应△B1A1C1，右手对应△B2A2C2)为锐角三角形，则表明当前姿势为双手叉腰姿势。第二，菜单命令选择方式。如图2所示，在激活菜单界面后，本专利技术设计了一种策略便于用户选择菜单命令，包括两块设计。其一是菜单界面设计。该设计借鉴
技术介绍
中介绍的扇形菜单，将设计菜单为圆形，并将其等分为八份，每一份为45°，对应一个菜单项。菜单项的最上方菜单角度(如图2(c)∠ABO所示)被中垂线平分，其它菜单项则依次排列。其二是和上述菜单项的交互设计。用户为了选定屏幕中某一菜单项，一个手臂保持激活菜单策略所用姿势，另一手臂伸直移动到目标菜单项对应的角度范围内，并停留500ms至1000ms即可。通过计算水平线到肩关节和腕关节连线的夹角(如图2(b)所示，直线CE到水平线的夹角θ)，来判断手臂在哪个菜单项对应的角度内。对于正上方(如图2(c)∠ABO表示)和正下方菜单项(如图2(c)∠ABO的向下相对角度)，任何一只手臂都可以进行选择。如果存在多级菜单选择，则在当前菜单选定后，用户可继续重复该菜单项的交互动作进行下级菜单选择。第三，菜单界面退出方式。当用户将两个手垂直放下时(图1(c))，即退出菜单界面。本专利技术设计了一个简单的算法来判断手臂下垂姿势：即计算两个手臂肩关节、肘关节和腕关节对应的∠B3A3C3和∠B4A4C4是否大于150°，如果大于，则表示手臂垂直放下。图3为本专利技术的体感交互流程图。如图3所示，初始状态为菜单等待激活状态。如果检测到激活姿势，菜单则被激活，显示菜单，等待后续输入命令。后续输入命令有三种情况。第一是菜单退出命令，这种情况下系统回到初始状态。第二是菜单选择命令，系统根据用户的姿势进行菜单命令选择。此阶段如果有次级菜单，则更新菜单并等待输入姿势状态。如果没有次级菜单，则执行命令同时菜单进入初始状态。第三是其他命令，系统不响应，仍然处于菜单显示并等待后续输入命令状态。以上所述菜单设计以及姿势检测方法仅为本专利技术的较佳实施例，凡依本专利技术申本文档来自技高网...

【技术保护点】
基于Kinect的屏幕菜单体感交互方法，其特征在于：包括步骤：(1)菜单等待激活，用户通过姿势与屏幕进行交互，屏幕判断用户的姿势是否为激活姿势，若是，则显示菜单，等待后续输入命令；若否，则菜单继续等待激活；(2)用户通过姿势进行菜单选择命令，屏幕对用户姿势进行确认；若存在次级菜单，则更新菜单界面；若无次级菜单，则执行菜单命令；(3)用户通过姿势选择退出菜单，屏幕判断是否为菜单退出命令，若是，则退出菜单；否则继续等待后续输入命令。

【技术特征摘要】
1.基于Kinect的屏幕菜单体感交互方法，其特征在于：包括步骤：(1)菜单等待激活，用户通过姿势与屏幕进行交互，屏幕判断用户的姿势是否为激活姿势，若是，则显示菜单，等待后续输入命令；若否，则菜单继续等待激活；(2)用户通过姿势进行菜单选择命令，屏幕对用户姿势进行确认；若存在次级菜单，则更新菜单界面；若无次级菜单，则执行菜单命令；(3)用户通过姿势选择退出菜单，屏幕判断是否为菜单退出命令，若是，则退出菜单；否则继续等待后续输入命令。2.根据权利要求1所述的屏幕菜单体感交互方法，其特征在于：所述步骤(1)屏幕判断用户的姿势是否为激活姿势具体为：判断用户姿势中肩关节、肘关节和腕关节构成的三...

【专利技术属性】
技术研发人员：涂华伟，杨求龙，田丰，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32