用于提供图形用户界面的系统和方法技术方案

本发明专利技术提供一种用于提供图形用户界面的系统。所述系统包括：显示器；至少一个成像传感器，其被配置以捕获与用户相关联的至少一个图像；一个或多个处理器；以及存储器，其用于存储所述一个或多个处理器可执行的指令。所述一个或多个处理器可被配置以基于所述至少一个图像检测所述用户的目标部分的手势，并且基于所述用户的所述目标部分的所述手势确定至少一个三维(3D)对象在3D坐标系统中的3D坐标。所述一个或多个处理器可进一步被配置以基于所述3D坐标执行将所述至少一个3D对象投影到所述显示器上并且根据所述投影在所述显示器上呈现所述至少一个3D对象。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉参考本申请是2014年8月18日提交的标题为“交互输入系统和方法(InteractiveInputSystemandMethod)”的第14/462,324号申请的部分接续申请，所述第14/462,324号申请是2013年9月23日提交的标题为“交互输入系统和方法(InteractiveInputSystemandMethod)”的第14/034,286号申请的部分接续申请，所述第14/034,286号申请是基于2013年4月12日提交的标题为“3D和2D交互输入系统和方法(3Dand2DInteractiveInputSystemandMethod)”的第61/811,680号临时申请和2013年7月1日提交的标题为“3D和2D交互输入系统和方法(3Dand2DInteractiveInputSystemandMethod)”的第61/841,864号临时申请并且主张这些临时申请的优先权权益。第14/462,324号申请还基于2013年8月25日提交的标题为“3D和2D交互输入系统和方法(3Dand2DInteractiveInputSystemandMethod)”的第61/869,726号临时申请并且主张所述临时申请的优先权权益。本申请还基于2014年6月17日提交的标题为“具有手跟踪和头跟踪的用户界面和交互(UserInterfaceandInteractionwithHandTrackingandHeadTracking)”的第62/013,485号临时申请并且主张所述临时申请的优先权权益。所有上文引用的申请的全部内容以引用的方式并入本文中。
本公开涉及图形用户界面，并且更明确地说，涉及用于为三维(3D)对象提供图形用户界面的系统和方法。
技术介绍
用于增强图形用户界面(GUI)的真实感和自然度的现有技术常常包括向GUI的图形呈现添加三维(3D)迹象，诸如反射效果、投影效果等。然而，这些3D迹象没有在用户周围的虚拟3D空间中呈现3D场景的感知，因此常常发现对于提供GUI的逼真感不能令人满意。此外，当二维(2D)显示装置用于显示3D对象时，现有3D人手输入装置不能够提供允许用户以自然且直接的方式控制2D显示器上所显示的虚拟3D对象或与之交互的直观用户界面。因此，需要一种图形用户界面，其提供对3D场景的逼真描述并且还允许用户以自然的方式与所显示的3D对象交互。
技术实现思路
本公开提供一种用于提供图形用户界面的系统。与一些实施例一致，所述系统包括：显示器；至少一个成像传感器，其被配置以捕获与用户相关联的至少一个图像；一个或多个处理器；以及存储器，其用于存储所述一个或多个处理器可执行的指令。所述一个或多个处理器可被配置以基于所述至少一个图像检测所述用户的目标部分的手势，并且基于用户的目标部分的手势确定至少一个3D对象在3D坐标系统中的3D坐标。所述3D坐标系统可与用户所感知的虚拟3D空间相关联。所述一个或多个处理器可进一步被配置以基于所述3D坐标执行将所述至少一个3D对象投影到显示器上并且根据所述投影在显示器上呈现所述至少一个3D对象。与一些实施例一致，本公开提供一种用于提供图形用户界面的方法。所述方法包括基于与用户相关联的至少一个图像检测用户的目标部分的手势，并且基于用户的目标部分的手势确定至少一个3D对象在3D坐标系统中的3D坐标。所述3D坐标系统可与用户所感知的虚拟3D空间相关联。所述方法可进一步包括基于所述3D坐标执行将所述至少一个3D对象投影到显示器上并且根据所述投影在显示器上呈现所述至少一个3D对象。与一些实施例一致，本公开提供一种非暂态计算机可读存储媒体，其存储一个或多个处理器可执行以执行用于提供图形用户界面的方法的程序指令。所述方法包括基于与用户相关联的至少一个图像检测用户的目标部分的手势，并且基于用户的目标部分的手势确定至少一个3D对象在3D坐标系统中的3D坐标。所述3D坐标系统可与用户所感知的虚拟3D空间相关联。所述方法可进一步包括基于所述3D坐标执行将所述至少一个3D对象投影到显示器上并且根据所述投影在显示器上呈现所述至少一个3D对象。本公开的额外对象和优点将部分地在以下详细描述中进行陈述，并且部分地将从所述描述内容看出，或者可通过实践本公开来认识到。本公开的目的和优点将借助于所附权利要求书中明确指出的元件和组合来实现和获得。应当理解，前述概要描述和以下详细描述仅仅是示例性和解释性的而不限制本专利技术，正如所主张的。附图说明图1示出根据本公开的实施例的示例性交互系统。图2示出根据本公开的实施例的感测装置的示例性布置。图3示出根据本公开的实施例的感测装置的另一个示例性布置。图4示出根据本公开的实施例的多个感测装置的示例性布置。图5A至5C示出根据本公开的实施例的感测装置的示例性实施方式。图6示出根据本公开的实施例的用户手势跟踪过程的示例性图。图7示出根据本公开的实施例的用户手势跟踪过程的另一个示例性图。图8示出根据本公开的实施例的用户手势跟踪过程的另一个示例性图。图9示出根据本公开的实施例的3D用户界面的示例性图。图10示出根据本公开的实施例的3D用户界面和感测装置的坐标系统的示例性图。图11示意性展示根据示例性实施例的在感测装置的坐标系统中的用户头姿势。图12示意性展示根据示例性实施例的在感测装置的坐标系统中的用户手手势。图13示出根据本公开的实施例的呈现结果的示例性图。图14示出根据本公开的实施例的虚拟3D空间中的3D对象的感知的示例性图。图15示出根据本公开的实施例的呈现结果的另一个示例性图。图16示出根据本公开的实施例的虚拟3D空间中的3D对象的感知的另一个示例性图。图17示出根据本公开的实施例的与显示器上所呈现的3D对象的用户交互的示例性图。图18示出根据本公开的实施例的与虚拟3D空间中的3D对象的用户交互的示例性图。图19示出根据本公开的实施例的与显示器上所呈现的3D对象的用户交互的另一个示例性图。图20示出根据本公开的实施例的与虚拟3D空间中的3D对象的用户交互的另一个示例性图。图21示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的示例性图。图22示出根据本公开的实施例的分别在显示器和虚拟3D空间中呈现的3D对象的另一个示例性图。图23示出根据本公开的实施例的分别在显示器和虚拟3D空间本文档来自技高网...

【技术保护点】
一种用于提供图形用户界面的系统，其包括：显示器；至少一个成像传感器，其被配置以捕获与用户相关联的至少一个图像；一个或多个处理器；以及存储器，其用于存储所述一个或多个处理器可执行的指令，其中所述一个或多个处理器被配置以：基于所述至少一个图像检测所述用户的目标部分的手势；基于所述用户的所述目标部分的所述手势确定至少一个三维(3D)对象在3D坐标系统中的3D坐标，所述3D坐标系统与所述用户所感知的虚拟3D空间相关联；基于所述3D坐标执行将所述至少一个3D对象投影到所述显示器上；并且根据所述投影在所述显示器上呈现所述至少一个3D对象。

【技术特征摘要】
【国外来华专利技术】2014.06.17 US 62/013,485;2014.08.18 US 14/462,3241.一种用于提供图形用户界面的系统，其包括：
显示器；
至少一个成像传感器，其被配置以捕获与用户相关联的至少一个图像；
一个或多个处理器；以及
存储器，其用于存储所述一个或多个处理器可执行的指令，其中所述一个
或多个处理器被配置以：
基于所述至少一个图像检测所述用户的目标部分的手势；
基于所述用户的所述目标部分的所述手势确定至少一个三维(3D)对象在
3D坐标系统中的3D坐标，所述3D坐标系统与所述用户所感知的虚拟3D空
间相关联；
基于所述3D坐标执行将所述至少一个3D对象投影到所述显示器上；并
且
根据所述投影在所述显示器上呈现所述至少一个3D对象。
2.根据权利要求1所述的系统，其中所述一个或多个处理器进一步被配
置以基于所述用户的所述目标部分的所述手势确定所述至少一个3D对象的选
择。
3.根据权利要求2所述的系统，其中所述用户的所述目标部分包括所述
用户的头和所述用户的手指，并且所述用户的所述目标部分的所述手势是：在
所述用户所感知的所述虚拟3D空间中，所述用户的所述手指与所述用户的所
述头的位置和所述至少一个3D对象所构成直线连线相交。
4.根据权利要求2所述的系统，其中所述用户的所述目标部分包括所述
用户的手指，并且所述用户的所述目标部分的所述手势是：在所述用户所感知
的所述虚拟3D空间中，所述用户的所述手指达到所述至少一个3D对象的位
置的至少一部分。
5.根据权利要求2所述的系统，其中所述用户的所述目标部分包括所述
用户的手指，并且所述用户的所述目标部分的所述手势是：在所述用户所感知
的所述虚拟3D空间中，所述用户的所述手指指向所述至少一个3D对象的位
置。
6.根据权利要求2所述的系统，其中所述一个或多个处理器进一步被配
置以响应于所述至少一个3D对象的所述选择而致使所述至少一个3D对象在
所述用户所感知的所述虚拟3D空间中被放大。
7.根据权利要求2所述的系统，其中所述一个或多个处理器进一步被配
置以：
基于所述至少一个成像传感器所捕获的多个图像检测所述用户的所述目
标部分在朝向所述显示器的方向上的运动；并且
基于所述所检测到的运动在所述显示器上呈现所述至少一个3D对象。
8.根据权利要求7所述的系统，其中所述一个或多个处理器进一步被配
置以检测所述运动的力并且基于所述运动的所述力确定所述至少一个3D对象
在所述3D坐标系统中的移动的速度。
9.根据权利要求7所述的系统，其中所述一个或多个处理器进一步被配
置以检测所述运动的减速并且致使所述至少一个3D对象在所述3D坐标系统
中在朝向所述用户的方向上移动。
10.根据权利要求7所述的系统，其中所述一个或多个处理器进一步被配
置以在所述运动的移动距离超过预定阈值的情况下执行与所述至少一个3D对
象相关联的至少一个动作。
11...

【专利技术属性】
技术研发人员：何安莉，
申请(专利权)人：深圳凌手科技有限公司，
类型：发明
国别省市：广东;44