用户界面的实时交互操作系统和方法技术方案

公开一种用于与识别手势的用户界面实时交互的方法和系统。所述方法包括捕捉被摄物体上的三维(3D)数据；从3D数据检测被摄物体的指向动作；根据指向动作，计算目标区域的初始估计，该目标区域的初始估计具有绕中心点的规定的半径；以及跟踪被摄物体的指向动作并进行一系列的迭代，在所述一系列迭代中，目标区域的规定的半径根据检测的指向动作而变化。

User interface real-time interactive operating system and method

A method and system for real-time interaction with a user interface for identifying gestures is disclosed. The method includes capturing photographed on a three-dimensional object (3D) data from 3D data detection; object pointing movements; according to the pointing movements, calculate the initial target area estimation, the estimation of the initial target area around the center of the prescribed radius; and the tracking object pointing movements and iteration in the series, a series of iterations, the radius of the specified target area according to the detected pointing movements and changes.

【技术实现步骤摘要】
用户界面的实时交互操作系统和方法
本公开涉及用户界面的实时交互操作系统和方法，更特别地，涉及识别指向操作(pointingoperation)、考虑用户相对于屏幕的位置并跟踪用户的手位置的系统和方法，所述手位置用作反馈以精确地识别用户指向的屏幕上的位置或目标。
技术介绍
从远处操作基于手势的用户界面可能是一项挑战性的任务。例如，归因于视差误差，用户通常不能指向他或她打算指向的屏幕上的准确位置或目标。现有系统还存在关于精确指向识别的技术限制。目前，几乎不存在能够允许用户从例如大于约3米的距离利用手势操作用户界面并且能够交互地获得来自用户的反馈以提高指向的精度、并且利用可能的目标位置引导用户进行快速和精确指向的系统。
技术实现思路
考虑到以上问题，希望得到一种识别指向操作、考虑用户相对于屏幕的位置并跟踪用户的手位置的系统和方法，所述手位置用作反馈以精确地识别用户指向的屏幕上的位置或目标。按照示例性的实施例，公开一种识别用于与用户界面实时交互的手势的方法，包括：捕捉被摄物体上的三维(3D)数据；从3D数据检测被摄物体的指向动作；根据指向动作，计算目标区域的初始估计，该目标区域的初始估计具有绕中心点的规定的半径；以及跟踪被摄物体的指向动作并进行一系列的迭代，在所述一系列迭代中，目标区域的规定的半径根据检测到的指向动作而变化。按照示例性的实施例，公开一种识别用于与用户界面实时交互的手势的系统，包括：用于捕捉被摄物体上的三维(3D)数据的运动和深度传感器；以及处理器，所述处理器被配置成：捕捉被摄物体上的三维(3D)数据；从3D数据检测被摄物体的指向动作；根据指向动作，计算目标区域的初始估计，该目标区域的初始估计具有绕中心点的规定的半径；和跟踪被摄物体的指向动作并进行一系列的迭代，在所述一系列迭代中，目标区域的规定的半径根据检测到的指向动作而变化。按照示例性的实施例，公开一种识别用于与用户界面实时交互的手势的方法，包括：捕捉被摄物体上的三维(3D)数据；从3D数据检测被摄物体的指向动作以开始指向操作；确定指向动作在实际屏幕上的交点；确定实际屏幕上的一个或多个目标是否在围绕实际屏幕上的计算点的规定的半径之内；如果存在至少一个目标，那么确定目标的数目是等于1还是大于1，并且其中如果目标的数目等于1，那么选择目标，如果目标的数目大于1，那么减小规定的半径以减小在规定的半径内的目标的数目，直到留下单一目标为止。应明白上面的一般性说明和下面的详细说明都是示例性的和说明性的，用于提供请求保护的专利技术的进一步解释。附图说明附图用于提供本专利技术的进一步理解，附图并入本说明书中并构成本说明书的一部分。附图图解说明本专利技术的实施例，并和所述说明一起，用于解释本专利技术的原理。图1是表示按照示例性的实施例的用户界面的实时交互操作的情形的例示。图2是表示按照示例性的实施例的会议情形的示例性的用户界面系统的概况的例示。图3表示按照示例性的实施例的用于得出特征的接合点(joint)的三维(“3D”)位置。图4表示按照示例性的实施例的在系统中用于手势识别的特征。图5表示按照示例性的实施例把一系列的帧分割成用不同颜色和/或背景标记的不同手势的例子。图6表示按照示例性的实施例利用虚拟屏幕映射的屏幕上的指向位置的估计的示例性的例子。图7是按照示例性的实施例的交互目标选择的流程图。图8A-8C表示按照示例性的实施例，关于真实对象的交互目标选择的3个阶段。具体实施方式现在参考附图，详细说明本专利技术的目前优选的实施例，附图中图解说明了优选实施例的例子。只要可能，附图和说明书中使用相同的附图标记指的是相同或相似的部分。在涉及多人信息共享的应用中(比如在会议100中)，或者在用户界面120(比如大屏幕或监视器122)的基于手势的操作中，使用户110能够从例如大于3米的距离150操作会非常有用并且直观。图1中表示了示例性的情形的图示。通过利用屏幕或监视器122上的可能目标的位置引导搜索，并获得来自用户的基于手势的实时反馈来定位对象，这能够有助于克服这些挑战。另外，通过映射用户110相对于屏幕122的距离和角度，能够使站在不同位置的多个用户112、114、116操作用户界面(UI)120，如图1中所示。如图1中所示，会议(或会议室)100可包括用户界面120，用户界面120可以是例如用于把投影图像显示在墙壁或屏幕上的投影(即，实际屏幕)、电视屏幕、触摸屏、视频监视器和/或视频屏幕122。会议或会议室100还可包括例如一个或多个数据输入设备130，所述一个或多个数据输入设备130可包括运动和/或深度传感器相机132。运动和/或深度传感器相机132例如可以是RGB-D相机，RGB-D相机例如具有带有深度或距离能力的红、绿、蓝颜色空间并且可用于获得颜色图像(RGB颜色空间)和被摄物体或用户110、112、114、116在各个图像中的深度或距离。更优选地，例如，运动和/或深度传感器相机132是能够捕捉被摄物体或用户110、112、114、116在各个图像中的深度和/或距离的运动和深度传感器相机。按照示例性的实施例，一个或多个数据输入设备130中的每一个可包括存储器、处理器、操作系统和用于执行如这里公开的各个模块210、220、230、240、250(图2)的过程或算法的一个或多个软件应用。另外，按照示例性的实施例，会议室可包括计算机或处理设备140，计算机或处理设备140具有存储器、处理器、操作系统、用于执行如这里公开的各个模块210、220、230、240、250(图2)的过程或算法的一个或多个软件应用。计算机或处理设备140可包括显示器或图形用户界面(GUI)142。可以领会显示器142可以是独立计算机的一部分，或者可以包含在一个或多个计算机或处理设备内。按照示例性的实施例，所述一个或多个数据输入设备130可经因特网或网络连接(比如LAN(局域网)或WAN(广域网))和/或无线技术(包括但不限于射频(RF)、和/或红外(IR)传输)连接到计算机或处理设备140。图2是适用于会议或集会情形下的用户界面操作的系统200的示图。例如，集会可由多个参与者110、112、114、116组成，所述多个参与者中的任何一个将是操作者110，而其它参与者可以是被动参与者112、114、116。按照示例性的实施例，交互用户界面120中的组件可包括特征提取模块210、操作者鉴定模块220、手势分割和识别模块230、目标区域映射和估计模块240和交互模块250，所述交互模块250进行手跟踪，并可根据用户的手移动减小所选择的区域。按照示例性的实施例，具有实时骨骼提取的节约成本的深度传感器的采用引发了对人类手势识别的关注。按照示例性的实施例，例如，来自运动和深度传感器132的骨骼数据流可用作输入。按照示例性的实施例，例如，运动和深度传感器132可安装在如图1中所示那样所有用户110、112、114、116可见的已知位置。图3是按照示例性的实施例可用于得到特征的骨骼接合点300和对应的三维(3D)位置的例示。如图3中所示，优选可利用深度相机和运动传感器132检测人类骨骼系统中的主要接合点(例如16个主要接合点)的3D位置。然而，按照示例性的实施例，并不需要所有的接合点，可以使用少于16个接合点。例如本文档来自技高网...

【技术保护点】
一种识别用于与用户界面实时交互的手势的方法，包括：捕捉被摄物体上的三维数据；从三维数据检测被摄物体的指向动作；根据指向动作，计算目标区域的初始估计，该目标区域的初始估计具有绕中心点的规定的半径；以及跟踪被摄物体的指向动作并进行一系列的迭代，在所述一系列迭代中目标区域的规定的半径根据检测出的指向动作而变化。

【技术特征摘要】
2015.08.31 US 14/840,5961.一种识别用于与用户界面实时交互的手势的方法，包括：捕捉被摄物体上的三维数据；从三维数据检测被摄物体的指向动作；根据指向动作，计算目标区域的初始估计，该目标区域的初始估计具有绕中心点的规定的半径；以及跟踪被摄物体的指向动作并进行一系列的迭代，在所述一系列迭代中目标区域的规定的半径根据检测出的指向动作而变化。2.按照权利要求1所述的方法，包括：如果指向动作在规定的半径之内，那么减小目标区域的规定的半径；以及如果被摄物体的指向动作在规定的半径之外，那么扩大规定的半径。3.按照权利要求1所述的方法，包括：当检测到用户的指向动作的移动在规定的半径之内并且检测到指向动作相对于规定的半径的中心点的变化时，移动规定的半径的中心点。4.按照权利要求1所述的方法，包括：按固定速率，按与被摄物体的指向动作的运动速度成比例的速率减小和扩大规定的半径。5.按照权利要求1所述的方法，包括：选择目标区域内的目标，目标的选择包括：确定是否一个或多个目标在规定的半径之内；以及如果存在至少一个目标，那么确定目标的数目是等于1还是大于1，并且其中如果目标的数目等于1，那么选择目标，并且如果目标的数目大于1，那么减小规定的的半径以减小规定的半径内的目标的数目，直到留下单一目标为止。6.一种识别用于与用户界面实时交互的手势的系统，包括：用于捕捉被摄物体上的三维数据的运动和深度传感器；以及处理器，所述处理器被配置成：捕捉被摄物体上的三维数据；从三维数据检测被摄物体的指向动作；根据指向动作，计算目标区域的初始估计，该目标区域的初始估计具有绕中心点的规定的半径；以及跟踪被摄物体的指向动作并进行一系列的迭代，在所述一系列迭代中，目标区域的规定的半径根据检测出的指向动作而变化。7.按照权利要求6所述的系统，其中处理器被配置成：如果指向动作在规定的半径之内，那么减小目标区域的规定的半径；以及如果被摄物体的指向动作在规定的半径之外，那么扩大规定的半径。8.按照权利...

【专利技术属性】
技术研发人员：娜蒂塔·M·娜雅卡，加深·土菲戈，顾海松，
申请(专利权)人：柯尼卡美能达美国研究所有限公司，
类型：发明
国别省市：美国,US