移动设备上的全3D交互制造技术

系统和方法可以提供在移动设备的屏幕上显示三维(3D)环境，并识别用户与所述移动设备后面的区域的交互。另外，可以至少部分地基于第一用户交互来修改3D环境。此外，可以基于移动设备的移动以及用户与移动设备的交互来修改3D环境，从而允许用户通过移动所述移动/手持设备在虚拟三维环境中导航。

【技术实现步骤摘要】
【国外来华专利技术】移动设备上的全3D交互
实施例一般涉及移动设备的交互性。更具体地说，实施例涉及使用三维（3D)环境 来增强移动设备的交互性。 过论 常规的智能手机可以具有这样的屏幕（例如，显示器）：它们相对于显示在屏幕上 的内容较小。例如，典型的台式机环境可以包括多个窗口，在典型的智能手机上可能难以查 看到这多个窗口。虽然可能已经开发了一些解决方案来适应于相对小的屏幕尺寸，但仍然 存在相当大的改进空间。例如，在所显示的图像上平移（panning)的常规技术可能需要在 用户这边滑动（swipe)手指，其中，用户的手指可能遮挡屏幕上的内容。类似地，放大以 及缩小图像可能需要手指捏，这也妨碍了用户观看所述内容的至少一部分。 【附图说明】 对于本领域技术人员而言，通过阅读下面的说明书和所附的权利要求书，并通过 参考以下附图，本专利技术的实施例的各种优点将变得显而易见，其中： 图1是根据一个实施例的经由移动设备的屏幕显示的三维（3D)虚拟台式机环境 的示例的透视图； 图2是根据一个实施例的经由移动设备的屏幕显示的可替换的3D虚拟环境的示 例的透视图； 图3是根据一个实施例的使用3D虚拟环境来使用户能够与移动设备进行交互的 方法的示例的流程图；以及 图4是根据一个实施例的移动设备的示例的框图。 【具体实施方式】 实施例可以包括具有屏幕和用于通过屏幕来显示三维（3D)环境的逻辑的移动设 备。所述逻辑还可以识别与移动设备后面的区域进行的第一用户交互，并且至少部分地基 于所述第一用户交互来修改所述3D环境。 实施例还可以包括具有一逻辑的装置，所述逻辑用于经由移动设备的屏幕显示3D 环境并识别与所述移动设备后面的区域进行的第一用户交互。所述逻辑还可以被配置为至 少部分地基于所述第一用户交互来修改所述3D环境。 此外，实施例可以包括具有一组指令的非临时性计算机可读存储介质，所述一组 指令如果被处理器执行则使得移动设备经由移动设备的屏幕显示3D环境，并识别与移动 设备后面的区域进行的第一用户交互。所述指令还可以使得移动设备至少部分地基于所述 第一用户交互来修改所述3D环境。 其他实施例可以涉及一种计算机实现的方法，其中，经由移动设备的屏幕显示3D 环境。该方法还可以提供：识别与移动设备后面的区域进行的第一用户交互，并且至少部分 地基于所述第一用户交互来修改所述3D环境。 现在转到图1，示出了移动设备10,其中，所述移动设备10具有用户14可见的屏 幕12 (例如，液晶显示器/LCD、触摸屏、立体显示器等）。移动设备10可以例如是智能电 话、移动因特网设备（MID)、笔记本电脑、或其他类似的设备，其中，屏幕12的大小是相对小 的。在图示的示例中，3D环境16显示在屏幕12上，使得当从移动设备10前面观看时，它看 起来像是位于移动设备10后面的一距离处。3D环境16可以例如包括虚拟台式机环境，其 中，多个窗口 18(18a，18b)看起来比屏幕12大很多。窗口 18的位置可以是在空中（例 如，浮动）或固定（pin)到移动设备10后面的某个外表面，诸如物理桌面、墙壁等。 一般情况下，用户14可以一只手持有移动设备10,而使用另一只空闲的手20与 3D环境16进行交互。用户与3D环境16的交互可以涉及例如与光标移动操作、点击操作、 拖放操作、捏操作、选择操作、对象旋转操作等有关的活动，其中，执行操作的模式可以根据 情况而改变。例如，如果3D环境16被固定到诸如物理桌面之类的外表面，那么用户14可 以通过用空闲手20的食指（或其它手指）轻敲外表面来选择窗口 18。在这种情况下，移动 设备10可以包括后部图像传感器和/或麦克风（未示出），用以检测轻敲（例如，用户交 互）并在3D环境16中执行适当的点击和/或选择操作。例如，后部图像传感器可以使用 模式/对象识别技术来识别与轻敲交互相对应的各种手形状和/或移动。类似地，麦克风 可以能够识别与轻敲交互相对应的声频内容。使用后部图像传感器和/或麦克风也可以识 别其他用户交互，例如拖放动作和捏动作。 因此，如果图示的窗口 18b当前是活动窗口（例如，在环境的前沿），并且空闲手 20的食指在与其他窗口 18a相对应的位置处轻敲外表面，则移动设备10可以通过使其他 窗口 18a成为活动窗口（例如，将其移动到环境中的前沿）来进行响应。特别值得注意的 是，这种方法可以使外表面能够向用户14提供触觉反馈。如将更加详细地讨论的，如果3D 环境16是空中环境（例如，不固定到外表面），那么触觉反馈可以通过设备上的另一个组件 (例如空气喷嘴）来提供，所述另一组件被配置为响应于检测到用户交互，在空闲手20处吹 出一股气流。 用户14也可以将空闲手20的食指移动到所希望的位置，然后使用握住移动设备 10的手来与移动设备10的用户界面（UI)(诸如按钮22)进行交互，以在3D环境16中触发 一个或更多操作。按钮22因此可以有效地作为鼠标的左和/或右点击按钮，而用户14的 空闲手20用作鼠标的坐标位置机构。例如，按钮22可以被用作轻敲外表面以便点击或以 其他方式选择窗口 18的一种替代。因此，用户14可以简单地移动空闲手20来指向3D环 境16中的所希望的位置，而使用另一只手按下按钮22并启动点击/选择操作。此外，可以 使用按钮22来执行更复杂的操作，例如拖放或捏操作。 正如已经指出的，3D环境16可以替换地被实现为空中环境，其不固定到特定的外 表面。在这种情况下，可以相对于与3D环境16中的窗口 18和其他对象相对应的空中位置 来进行空闲手20的运动。移动设备10还可以配备有空气喷嘴（未示出），其响应于用户与 3D环境16的交互而提供触觉反馈。 图示的移动设备10还可以使得能够实现一种进行平移和缩放操作的独特的方 法。具体地，用户14可以通过在期望的方向上将空闲手20简单地移动到场景的边缘，来在 3D环境上平移（例如，向左、向右、向上或向下滚动），其中，所述后部图像传感器可以检测 空闲手20的运动。另一种进行平移的方法可以是：用户14在感兴趣的方向上倾斜/移动 所述移动设备10,其中，所述移动设备10还可以配备有运动传感器和/或前部图像传感器 (未示出），其可以与后部图像传感器一起工作，以便将移动设备10的动作转换成平移操 作。任何一种方法都可以使经由屏幕12显示的虚拟环境能够看起来比屏幕12大很多。 另外，运动传感器和/或前部图像传感器可以与后部图像传感器一起工作，以便 将移动设备10的动作转换成缩放操作。具体地，前部图像传感器可以确定移动设备10和 用户14的面部之间的距离，而后部图像传感器可以确定移动设备10和用户14的空闲手20 和/或外表面之间的距离，其中，这些距离的改变可以被转换成缩放操作。因此，用户14可 以通过远离用户14的面部并朝向3D环境中的感兴趣区域来对移动设备10进行移动，来放 大3D环境16的特定区域（例如，就像用放大镜一样）。类似地，用户14可以通过朝向用户 14的面部并远离所考虑的区域来对移动设备进行移动，来缩小3D环境16的特定区域。这 样的用于执行缩放操作的方法还可以使相对大的虚拟环境能够经由屏本文档来自技高网...

【技术保护点】
一种移动设备，包括：屏幕；以及用于以下的逻辑：经由所述屏幕显示三维(3D)环境，识别与所述移动设备后面的区域进行的第一用户交互，以及至少部分地基于所述第一用户交互来修改所述3D环境。

【技术特征摘要】
【国外来华专利技术】1. 一种移动设备，包括： 屏幕；以及 用于以下的逻辑： 经由所述屏幕显示三维（3D)环境， 识别与所述移动设备后面的区域进行的第一用户交互，以及 至少部分地基于所述第一用户交互来修改所述3D环境。2. 根据权利要求1所述的移动设备，其中，所述第一用户交互包括手部相对于以下中 的至少一个的移动：与所述3D环境中的虚拟对象相关联的空中位置和外表面。3. 根据权利要求1所述的移动设备，还包括空气喷嘴，其中，如果所述第一用户交互是 手部相对于空中位置的移动，则所述逻辑使用所述空气喷嘴来提供触觉反馈。4. 根据权利要求1所述的移动设备，还包括后部图像传感器，其中，所述逻辑使用来自 所述后部图像传感器的一个或多个信号来识别所述第一用户交互。5. 根据权利要求1所述的移动设备，还包括麦克风，其中，所述逻辑使用来自所述麦克 风的一个或多个信号来识别所述第一用户交互。6. 根据权利要求1所述的移动设备，其中，所述逻辑至少部分地基于所述第一用户交 互来执行光标移动操作、点击操作、拖放操作、捏操作、选择操作和对象旋转操作中的一个 或多个，以修改所述3D环境。7. 根据权利要求1所述的移动设备，还包括运动传感器，其中，所述逻辑使用来自所述 运动传感器的一个或多个信号来识别所述移动设备的移动。8. 根据权利要求1所述的移动设备，还包括运动传感器，其中，所述逻辑使用来自前部 图像传感器的一个或多个信号来识别所述移动设备的移动。9. 根据权利要求1所述的移动设备，其中，所述3D环境包括虚拟台式计算机环境，所述 虚拟台式计算机环境实质上大于所述移动设备的屏幕。10. 根据权利要求1所述的移动设备，其中，所述逻辑： 使用来自所述移动设备的用户接口的一个或多个信号，来识别与所述移动设备进行的 第二用户交互，以及 至少部分地基于所述第二用户交互，使用点击操作、拖放操作和捏操作中的至少一个 来修改所述3D环境。11. 一种装置，包括： 用于以下的逻辑： 经由移动设备的屏幕显示三维（3D)环境， 识别与所述移动设备后面的区域进行的第一用户交互，以及 至少部分地基于所述第一用户交互来修改所述3D环境。12. 根据权利要求11所述的装置，其中，所述第一用户交互包括手部相对于以下中的 至少一个的移动：与所述3D环境中的虚拟对象相关联的空中位置和外表面。13. 根据权利要求11所述的装置，其中，所述逻辑使用来自所述移动设备的后部图像 传感器和麦克风中的至少一个的一个或多个信号，来识别所述第一用户交互。14. 根据权利要求11所述的装置，其中，如果所述第一用户交互是手部相对于空中位 置的移动，则所述逻辑使用所述移动设备的空气喷嘴来提供触觉反馈。15. 根据权利要求11所述的装置，其中，所述逻辑至少部分地基于所述第一用户交互 来执行光标移动操作、点击操作、拖放操作、捏操作、选择操作和对象旋转操作中的一个或 多个，以修改所述3D环境。16. 根据权利要求11所述的装置，其中，所述逻辑： 使用来自所述移动设备的运动传感器和前部图像传感器中的至少一个的一个或多个 信号，来识别所述移动设备的移动，以及 至少部分地基于所述移动设备的移动，使用平移操作和缩放操作中的至少一个来修改 所述3D环境。17. 根据权利要求11所述的装置，其中，所述3D环境包括虚拟台式计算机环境，所述虚 拟台式计算机环境实质上大于所述移动设备的屏幕。18. 根据权利要求11所述的装置，其中，所述逻辑： 使用来自所述移动设备的用户接口的一个或多个信号，来识别与所述移动设备进行的 第二用户交互，以及 至少部分地基于所述第二用户交互，使用点击操作、拖放操作和捏操作中的至少一个 来修改所述3D环境。19. 根据权利要求18所述的装置，其中，所述点击操作包括计算机鼠标点击操作。20. -种包括一组指令的非临时性计算机可读存储介质，所述一组指令如果被处理器 ...

【专利技术属性】
技术研发人员：L·M·德拉姆，D·德拉姆，S·夏玛，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US