用户界面控制的装置、系统及方法制造方法及图纸

本发明专利技术公开了用户界面控制的装置、系统及方法的实施方案，其中该装置包括用于捕获用户的手部的视频或静止图像序列的相机。一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。用户界面控制器被联接以从一个或多个处理器接收所述用户界面命令。显示器联接到用户界面控制器。用户界面控制器使一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。

Devices, Systems and Methods of User Interface Control

The invention discloses an implementation scheme of a device, system and method for user interface control, in which the device includes a camera for capturing a video or still image sequence of a user's hand. One or more processors are connected to the camera to process video or still image sequences to produce a digital representation of the user's hand, determine the gesture and action of the user's hand from the digital representation, and associate the gesture or pose/action combination with user interface commands. User interface controllers are connected to receive the user interface commands from one or more processors. The display is connected to the user interface controller. User interface controllers enable a group of one or more user interface controls to appear on the display. User interface commands select or adjust one or more user interface controls displayed in the group, and the actions of the selected user interface controls basically track the actions of the user's hands in real time.

【技术实现步骤摘要】
用户界面控制的装置、系统及方法
所公开的实施方案整体涉及用户界面，并且更具体地但不仅仅涉及使用姿势和姿势/动作组合与用户界面的非接触式交互。
技术介绍
随着电子设备的普及，控制它们及其属性的方法已经大大改善。最初，大多数电子设备使用物理控制(旋钮、滑块、按钮等)进行控制。现在，许多电子设备是由软件控制的，但在很多情况下，它们仍然需要通过用户的某种形式的直接或间接的物理触碰；示例包括利用鼠标进行指向和单击，以及在触摸屏或触摸板上选择或操纵项目。这些控制方法的缺点包括：用户通常必须注意所考虑的设备，因此从其他任务转移了注意力，并且用户必须能够触碰物理控制设备，如果物理控制设备不方便放置，这可能会很困难。
技术实现思路
本公开讨论了用于基于姿势和动作的用户界面控制的装置和方法的实施方案。该装置包括相机，该相机用于捕获用户的手部的视频或静止图像序列。一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。用户界面控制器被联接以从一个或多个处理器接收用户界面命令。显示器联接到用户界面控制器。用户界面控制器使得一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整这组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。该方法包括捕获用户的手部的视频或静止图像序列。处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整这组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。本专利技术提供一种用户界面控制的装置，该用户界面控制的装置包括：相机，该相机用于捕获用户的手部的视频或静止图像序列；一个或多个处理器，该一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联；用户界面控制器，该用户界面控制器被联接以从一个或多个处理器接收用户界面命令；和显示器，该显示器联接到用户界面控制器，其中该用户界面控制器使一组的一个或多个用户界面控件出现在显示器上，其中用户界面命令选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪用户的手部的动作。进一步地，还包括联接到用户界面控制器的一个或多个底层系统，其中所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对一个或多个底层系统的属性进行选择或调整。进一步地，所述组所显示的用户界面控件是上下文特定的。进一步地，相机是立体相机或飞行时间相机。进一步地，用户界面控制的装置还包括联接到一个或多个处理器的用户反馈机构。进一步地，用户反馈机构包括被安置成轻击用户的身体的一部分的轻击机构。进一步地，如果姿势、动作、或姿势/动作组合不能通过一个或多个处理器与用户界面命令相关联，则轻击机构向用户提供反馈。进一步地，用户界面控制器在显示器上显示手部的数字表示。进一步地，用户界面控制的装置还包括联接到用户界面控制器的至少一个附加显示器。进一步地，姿势/动作组合包括：第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；第二姿势，该第二姿势与特定区段的方向上的动作相结合，用于选择由该区段表示的用户界面命令。进一步地，特定区段与第二姿势的动作成比例地填充，并且在变成完全填充时激活用户界面命令。进一步地，第一姿势/动作组合是以下中的一者：伸出的食指以圆周运动的方式移动；伸出的食指和中指以圆周运动的方式移动；以及手掌张开且所有手指完全伸出，使得手部基本上平行于显示器并且以圆周运动的方式移动。进一步地，第二姿势是手掌张开且所有手指完全伸出，使得手部基本上平行于显示器。进一步地，姿势/动作组合包括：第一姿势/动作组合，用于激活包括多行二维或三维块的用户界面控件，每个块对应于一个用户界面命令；第二姿势，该第二姿势与在特定行和特定块的方向上的动作相结合，用于选择由该块表示的用户界面命令。进一步地，第一姿势/动作组合是手掌张开且所有手指完全伸出，使得手部基本上平行于显示器并且以左右运动的方式移动。进一步地，第二姿势是手掌张开且所有手指完全伸出，使得手指基本上指向显示器，并且该动作是：将手部向上或向下指以选择行；将手部左右移动以选择行内的块；以及逗留在特定的块上方以选择特定的块。本专利技术还提供一种用户界面控制的系统，该用户界面控制的系统包括：汽车，该汽车包括驾驶员座椅、一个或多个乘客座椅以及其中具有仪表板显示器的仪表板；姿势和动作辨识系统，包括：相机，该相机用于捕获驾驶员的手部的视频或静止图像序列，一个或多个处理器，该一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生驾驶员的手部的数字表示，从数字表示确定驾驶员的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联，用户界面控制器，该用户界面控制器被联接以从一个或多个处理器接收用户界面命令；以及显示器，该显示器联接到用户界面控制器，其中用户界面控制器使一组的一个或多个用户界面控件出现在显示器上，其中用户界面控制器使用用户界面命令来选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪用户的手部的动作。进一步地，用户界面控制的系统还包括联接到用户界面控制器的一个或多个底层系统，其中所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对一个或多个底层系统的属性进行选择或调整。进一步地，一个或多个系统包括声音系统、导航系统、电话系统或汽车系统。进一步地，用户界面控制的系统还包括用于每个乘客座椅的乘客相机和乘客显示器，每个乘客相机联接到一个或多个处理器并且每个乘客显示器联接到用户界面控制器。进一步地，乘客座椅包括前排乘客座椅和后排乘客座椅，用于每个后排乘客座椅的乘客显示器位于对应的前排乘客座椅的背部。进一步地，乘客座椅包括前排乘客座椅和后排乘客座椅，每个后排乘客座椅的乘客显示器包括固定装置，平板电脑被固定到固定装置中并且被电连接以提供显示器，其中固定装置包括乘客相机和附加的面部相机。进一步地，相机和乘客相机是立体相机或飞行时间相机。进一步地，用户界面控制的系统还包括联接到一个或多个处理器的用户反馈机构。进一步地，用户反馈机构包括安置在驾驶员的座椅背部中的轻击机构。进一步地，如果姿势、动作或姿势/动作组合未被一个或多个处理器辨识，则轻击机构向用户提供反馈。进一步地，用户界面控制器在显示器上显示手部的数字表示。进一步地，姿势/动作组合包括：第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；第二姿势，第二姿势与特定区段方向上的动作相结合，用于选择由该区段表示的用户界面命令。进一步地，特定区段与第二姿势的动作成比例地填充，并且在变成完全填充时激活用户界面命令。进一步地本文档来自技高网...

【技术保护点】
1.一种用户界面控制的装置，其特征在于，包括：相机，所述相机用于捕获用户的手部的视频或静止图像序列；一个或多个处理器，所述一个或多个处理器联接到所述相机，用于处理所述视频或所述静止图像序列以产生所述用户的手部的数字表示，从所述数字表示确定所述用户的手部的姿势和动作，并且将所述姿势或所述姿势/动作组合与用户界面命令相关联；用户界面控制器，所述用户界面控制器被联接以从所述一个或多个处理器接收所述用户界面命令；和显示器，所述显示器联接到所述用户界面控制器，其中所述用户界面控制器使一组的一个或多个用户界面控件出现在所述显示器上，其中所述用户界面命令选择或调整所述组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪所述用户的手部的所述动作。

【技术特征摘要】
2017.09.05 US 15/696,0221.一种用户界面控制的装置，其特征在于，包括：相机，所述相机用于捕获用户的手部的视频或静止图像序列；一个或多个处理器，所述一个或多个处理器联接到所述相机，用于处理所述视频或所述静止图像序列以产生所述用户的手部的数字表示，从所述数字表示确定所述用户的手部的姿势和动作，并且将所述姿势或所述姿势/动作组合与用户界面命令相关联；用户界面控制器，所述用户界面控制器被联接以从所述一个或多个处理器接收所述用户界面命令；和显示器，所述显示器联接到所述用户界面控制器，其中所述用户界面控制器使一组的一个或多个用户界面控件出现在所述显示器上，其中所述用户界面命令选择或调整所述组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪所述用户的手部的所述动作。2.根据权利要求1所述的装置，其特征在于，还包括联接到所述用户界面控制器的一个或多个底层系统，其中所述所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对所述一个或多个底层系统的属性进行选择或调整。3.根据权利要求1所述的装置，其特征在于，所述组所显示的用户界面控件是上下文特定的。4.根据权利要求1所述的装置，其特征在于，所述相机是立体相机或飞行时间相机。5.根据权利要求1所述的装置，其特征在于，还包括联接到所述一个或多个处理器的用户反馈机构。6.根据权利要求5所述的装置，其特征在于，所述用户反馈机构包括被安置成轻击所述用户的身体的一部分的轻击机构。7.根据权利要求6所述的装置，其特征在于，如果所述姿势、所述动作、或所述姿势/动作组合不能通过所述一个或多个处理器与所述用户界面命令相关联，则所述轻击机构向所述用户提供反馈。8.根据权利要求1所述的装置，其特征在于，所述用户界面控制器在所述显示器上显示所述手部的所述数字表示。9.根据权利要求1所述的装置，其特征在于，还包括联接到所述用户界面控制器的至少一个附加显示器。10.根据权利要求1所述的装置，其特征在于，所述姿势/动作组合包括：第一姿势/动作组合，用于激活包括被分成多个区段的环的用户界面控件，每个区段对应于一个用户界面命令；第二姿势，所述第二姿势与特定区段的方向上的动作相结合，用于选择由所述区段表示的用户界面命令。11.根据权利要求10所述的装置，其特征在于，所述特定区段与所述第二姿势的所述动作成比例地填充，并且在变成完全填充时激活所述用户界面命令。12.根据权利要求10所述的装置，其特征在于，所述第一姿势/动作组合是以下中的一者：伸出的食指以圆周运动的方式移动；伸出的食指和中指以圆周运动的方式移动；以及手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器并且以圆周运动的方式移动。13.根据权利要求12所述的装置，其特征在于，所述第二姿势是手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器。14.根据权利要求1所述的装置，其特征在于，所述姿势/动作组合包括：第一姿势/动作组合，用于激活包括多行二维或三维块的用户界面控件，每个块对应于一个用户界面命令；第二姿势，所述第二姿势与在特定行和特定块的方向上的动作相结合，用于选择由所述块表示的用户界面命令。15.根据权利要求14所述的装置，其特征在于，所述第一姿势/动作组合是手掌张开且所有手指完全伸出，使得所述手部基本上平行于所述显示器并且以左右运动的方式移动。16.根据权利要求15所述的装置，其特征在于，所述第二姿势是手掌张开且所有手指完全伸出，使得所述手指基本上指向所述显示器，并且所述动作是：将所述手部向上或向下指以选择行；将所述手部左右移动以选择行内的块；以及逗留在特定的块上方以选择所述特定的块。17.一种用户界面控制的系统，其特征在于，包括：汽车，所述汽车包括驾驶员座椅、一个或多个乘客座椅以及其中具有仪表板显示器的仪表板；姿势和动作辨识系统，包括：相机，所述相机用于捕获驾驶员的手部的视频或静止图像序列，一个或多个处理器，所述一个或多个处理器联接到所述相机，用于处理所述视频或所述静止图像序列以产生所述驾驶员的手部的数字表示，从所述数字表示确定所述驾驶员的手部的姿势和动作，并且将所述姿势或所述姿势/动作组合与用户界面命令相关联，用户界面控制器，所述用户界面控制器被联接以从所述一个或多个处理器接收所述用户界面命令；以及显示器，所述显示器联接到所述用户界面控制器，其中所述用户界面控制器使一组的一个或多个用户界面控件出现在所述显示器上，其中所述用户界面控制器使用所述用户界面命令来选择或调整所述组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪所述用户的手部的所述动作。18.根据权利要求17所述的系统，其特征在于，还包括联接到所述用户界面控制器的一个或多个底层系统，其中所述所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对所述一个或多个底层系统的属性进行选择或调整。19.根据权利要求18所述的系统，其特征在于，所述一个或多个系统包括声音系统、导航系统、电话系统或汽车系统。20.根据权利要求17所述的系统，其特征在于，还包括用于每个乘客座椅的乘客相机和乘客显示器，每个乘客相机联接到所述一个或多个处理器并且每个乘客显示器联接到所述用户界面控制器。21.根据权利要求20所述的系统，其特征在于，所述乘客座椅包括前排乘客座椅和后排乘客座椅，用于每个所述后排乘客座椅的所述乘客显示器位于对应的前排乘客座椅的背部。22.根据权利要求20所述...

【专利技术属性】
技术研发人员：沃尔弗拉姆·卢希纳，雅各布·朋诺克，埃里克·法伊特，
申请(专利权)人：南京知行新能源汽车技术开发有限公司，
类型：发明
国别省市：江苏,32