本发明专利技术公开了一种利用上臂伸展信息进行命令选择的方法。本方法为：1)在控制器上创建一Stretching组件及其菜单；2)控制器通过显示屏幕上的深度摄像机实时采集该用户手心的三维空间位置，然后计算手心位置到该用户身体平面的投影距离，得到该用户的手臂伸展长度并将其发送给Stretching组件；3)该组件将该用户的手臂伸展长度转换为屏幕上光标在所述菜单上的显示位置；4)用户通过改变手臂伸展长度控制光标移动，当光标移动到所述菜单上的一待选菜单项时，保持手势悬停时间大于设定时间，则该菜单项被选中。本发明专利技术不使用佩戴式传感器，基于深度摄像机，使用上臂伸展信息来进行菜单命令选择的方法，不影响手指精细动作。
【技术实现步骤摘要】
本专利技术涉及，在使用深度摄像机与大屏幕交互进行选择操作的优势尤其显著，属于人机交互领域。
技术介绍
手臂伸展是我们在日常生活中非常常用的动作。基于手臂伸缩的手势，用户可以使用它来控制目标对象的位置。目前市场上的深度摄像头能够支持对用户的身体运动捕获并具有可接受的精度，这为实现基于自然的身体运动的工具打开了新的通道。最近，一些研宄者利用深度摄像头的深度信息，来支持用户在平板设备和大屏幕设备上的交互行为。Wilson等人的研宄(WILSON A D.Using a Depth Camera as aTouch Sensor.ACM Internat1nal Conference on Interactive Tabletops andSurfaces.Saarbrilcken, Germany ；ACM.2010:69-72.)演示了深度感应摄像头如何被用于检测在un-1nstrumented平面上的触摸行为，他们还组合多个深度摄像头和投影仪来检测接触平面、悬浮于平面上和发生在平面间的交互行为。D印thTouch (ΒΕΝΚ0 H, WILSONA.Depthtouch:Using Depth-Sensing Camera to Enable Freehand Interact1ns onand above the Interactive Surface .City !Microsoft Research，2009.)将深度摄像头放置于TouchLight的显示器上，以便检测触摸行为D Data Miming(H0LZ C，WILSONA.Data Miming:1nferring Spatial Object Descript1ns from Human Gesture.Proceedings of the 201lannual conference on Human factors in computing systems.Vancouver, BCj Canada ；ACM.2011:811-820.)通过 Kinect/PrimeSense 深度摄像头，帮助用户使用空间手势对三维物体的形状进行描述，从而从数据库中检索出该三维物体。有很多工作研究三维用户界面中，用户完成目标获取和选择的绩效表现:Hinckley 等人(HINCKLEY K，PAUSCH Rj GOBLE J C，et al.A Survey ofDesignIssues in Spatial Input.Proceedings ofthe 7th annual ACM symposium onUser interface software and technology.Marina del Reyj California，UnitedStates ；ACM.1994:213-222.)提出了一份调查报告，阐述在设计和实现有效的自由空间三维用户界面时所面临的问题。Cockburn (C0CKBURN A, QUINN P，(iUTWIN C，etal.Air Pointing:Design and Evaluat1n of Spatial Target Acquisit1n withand without Visual Feedback.1nternat1nal Journal of Human-ComputerStudies, 2011，69 (6):401-414.)等人探讨了空中指点交互的设计空间，并提出了一个框架，帮助设计师理解输入维度和由此产生的交互特性。Poupyrev等人(P0UPYREVI, WEGH0RST Sj BILLINGHURST Mj et al.Egocentric Object Manipulat1n in VirtualEnvironments: Empirical Evaluat1n of Interact1n Techniques.ComputerGraphics Forum，1998，17 (3): C41-C52.)评估和比较了两个最基本的三维选择和操作隐喻的可用性特点。Grossman 等人(GROSSMAN T，BALAKRISHNAN R.The Design andEvaluat1n of Select1n Techniques for 3d Volumetric Displays.Proceedingsofthe 19th annual ACM symposium on User interface software and technology.Montreuxj Switzerland ;ACM.2006:3-12.)设计和评估了选择三维 volumetric 立体显不技术，并提出了对界面设计的implicat1ns。在三维用户界面中，研究者们已经提供了用于远距离指点，窗口管理和对象的控制的手势技术。然而，还很少有研究工作面向基于手势的菜单选择，唯一的例外是 rapMenu (ΤΑ0 N, MCMAHAN R P, BOWMAN D A.Rapmenu:Remote MenuSelect1n Using Freehand Gestural Input ；proceedings of the IEEE Symposium on3D User Interfaces 2008, Reno, Nevada, USA, F 8~9March 2008，2008 .IEEE.)，这是一个使用tilt和pinch选择菜单的用户界面。与rapMenu不同的是，手臂伸展手势能够支持用户使用手臂的简单动作完成命令选择任务，而与此同时，手和手指的精细动作可以被用来完成其他任务。还有一些研宄工作旨在了解各项任务中的基本用户行为。Zhai (ZHAIS.Human Performance in Six Degree ofFreedom Input Control ；UniversityofToronto, 1995.)研宄了用户在六自由度输入控制时的绩效表现。Mine等人(MINEM R, FREDERICK P.BROOKS J, SEQUIN C H.Moving Objects in Space:ExploitingPropr1cept1n in Virtual-Environment Interact1n.Proceedings of the 24thannual conference on Computer graphics and interactive techniques.ACM Press/Addison-Wesley Publishing C0.1997:19-26.)探索了身体为中心的菜单，允许用户利用他们的propr1ceptive本体感觉来选择菜单项或工具。Grossman等人(GROSSMANT, BALAKRISHNAN R.Pointing at Trivariate Targets in 3d Environments.Proceedings of the SIGCHI conference on Human factors in comput本文档来自技高网...
【技术保护点】
一种利用上臂伸展信息进行命令选择的方法，其步骤为：1)在控制器上创建一Stretching组件及该Stretching组件的菜单；2)控制器通过显示屏幕上的深度摄像机实时采集该用户手心的三维空间位置，然后计算手心位置到该用户身体平面的投影距离，得到该用户的手臂伸展长度并将其发送给Stretching组件；3)Stretching组件将该用户的手臂伸展长度转换为屏幕上光标在所述菜单上的显示位置；其中，手臂伸展长度为零时，光标位于所述菜单的起点；4)用户通过改变手臂伸展长度控制光标移动，当光标移动到所述菜单上的一待选菜单项时，保持手势悬停时间大于设定时间，则该菜单项被选中。
【技术特征摘要】
【专利技术属性】
技术研发人员：田丰，刘杰，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。