经由可穿戴和移动设备的基于自然运动的控制制造技术

“自然运动控制器”标识用户的身体的一个或多个部分的各种运动以与电子设备交互，由此实现各种自然用户接口(NUI)场景。自然运动控制器通过连结从多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段来构建复合运动识别窗口。这些分离的惯性传感器集中的每个惯性传感器集被耦合到分离的用户穿戴、携带或者手持的移动计算设备，或者提供与分离的用户穿戴、携带或者手持的移动计算设备有关的传感器数据。每个复合运动识别窗口然后被传递到由一个或多个基于机器的深度学习过程训练的运动识别模型。该运动识别模型然后被应用到复合运动识别窗口以标识一个或多个预定义运动的序列。所标识的运动然后被用作触发一个或多个应用命令的执行的基础。

Natural movement based control via wearable and mobile devices

A natural movement controller identifies various movements of one or more parts of a user's body to interact with an electronic device, thereby implementing various natural user interface (NUI) scenarios. A natural movement controller constructs a composite motion recognition window by adjusting an adjustable number of time slots of inertial sensor data received from a plurality of separate inertial sensor sets. Moving each inertial sensor inertial sensor concentration of these separate set is coupled to a separate user wearing, carrying or handheld computing devices, or provide with a separate user wearing, carrying or handheld mobile computing device for sensor data. Each compound motion recognition window is then passed to a motion recognition model trained by one or more machine based depth learning processes. The motion recognition model is then applied to a composite motion recognition window to identify sequences of one or more predefined motions. The identified movement is then used as a basis for triggering the execution of one or more application commands.

【技术实现步骤摘要】
【国外来华专利技术】经由可穿戴和移动设备的基于自然运动的控制
技术介绍
智能手表和其他可穿戴或移动计算设备提供各种水平的计算功能。这样的功能实现各种任务，诸如语音或数据通信、数据存储和传送、计算、媒体记录或回放、游戏、健康跟踪等。从硬件视角，许多智能手表和其他可穿戴或移动设备包括各种各样的传感器，诸如照相机、麦克风、扬声器、加速度计、显示设备、触敏表面等。智能手表和其他可穿戴或移动设备通常运行各种操作系统并且常常运行各种应用中的任一个应用。许多这些设备还使用一些技术(诸如Wi-Fi、蓝牙、近场通信(NFC)等)提供与其他计算设备的无线连接性或交互性。
技术实现思路
提供以下概述以引入以在下文详细描述中进一步描述的简化形式的概念的选择。该概述不旨在标识所要求保护的主题的关键特征或基本特征，其也不旨在用作辅助确定所要求保护的主题的范围。进一步，虽然本文可以指出或讨论现有技术的某些缺点，但是所要求保护的主题不旨在被限于可以解答或解决那些现有技术的缺点中的任何或全部缺点的实现。该概述的唯一目的是以简化形式将所要求保护的主题的一些概念呈现作为稍后呈现的更详细描述的前序。通常，如本文所描述的“自然运动控制器”提供用于标识用户的身体的一个或多个部分的运动以与电子设备交互的技术，从而使能各种自然用户接口(NUI)场景。有利地，自然运动控制器通过响应于用户的身体的一个或多个部分的所标识的一个或多个预定义运动的序列而触发一个或多个应用命令的序列的执行，来提供关于各种各样的计算设备和电子地控制或致动的设备或机器的增加的用户生产率和交互性。这些运动基于惯性传感器数据被标识、可选地与其他传感器数据(例如，光学、温度、接近等)组合、由耦合到一个或多个用户穿戴、携带或者手持的移动计算设备或者以与一个或多个用户穿戴、携带或者手持的移动计算设备相关联的传感器集返回。在各种实现中，由自然运动控制器实现的过程中的一些过程通过周期性地或者连续地根据传感器数据构建复合运动识别窗口而开始。可以通过连结从多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段或者帧来构建这些运动识别窗口。这些分离的惯性传感器集中的每个惯性传感器集被耦合到分离的用户穿戴、携带或者手持的移动计算设备或者提供与分离的用户穿戴、携带或者手持的移动计算设备有关的传感器数据。每个复合运动识别窗口然后被传递到由一个或多个基于机器的深度学习过程训练的机器学习运动序列模型(在本文中还被称为“运动识别模型”)。该运动识别模型然后被应用到复合运动识别窗口，以标识用户的身体的一个或多个部分的一个或多个预定义运动的序列。一旦这些预定义运动已经被标识，自然运动控制器就响应于所标识的一个或多个预定义运动的序列而触发一个或多个应用命令的序列的执行。例如，在各种实现中，用户手腕或者手臂扭转被检测为触发用户穿戴的智能手表等的通信部件的麦克风的激活的运动。然而，应当理解，自然运动控制器不限于基于扭转的运动或者麦克风或者其他通信设备的激活。鉴于以上概述，清楚的是，在此所描述的自然运动控制器提供用于标识用户的身体的一个或多个部分的运动以与计算设备和电子地控制或致动的设备或机器交互从而实现各种NUI场景的各种技术。除刚刚描述的益处之外，当结合附图理解时，自然运动控制器的其他优点将从在下文中的详细描述变得明显。附图说明所要求保护的主题的特定特征、方面和优点将关于以下描述、所附的权利要求和附图变得更好理解，在附图中：图1提供了图示用于实现如本文所描述的自然运动控制器的各种实现的程序模块的示例性架构流程图。图2提供了用于训练如本文所描述的机器学习运动序列模型的示例性高级概述。图3图示了如本文所描述的以穿戴在用户的手腕上的智能手表形式因子的用户穿戴控制设备。图4图示了图示用于实现如本文所描述的自然运动控制器的各种实现的示例性方法的通用系统流程图。图5是描绘具有用于在实现如本文所描述的自然运动控制器的各种实现中使用的简化计算和I/O能力的简化通用计算设备的通用系统图。具体实施方式在“自然运动控制器”的各种实现的以下描述中，对形成其一部分并且在其中以图示的方式示出在其中可以实践自然运动控制器的特定实现的附图进行参考。应当理解，在不脱离其范围的情况下，可以利用其他实现并且可以做出结构改变。还应注意，出于清楚的缘故，特定术语将被恢复到在描述本文所描述的各种实现中，并且这些实现不旨在限于这样所选择的特定术语。此外，应当理解，每个特定术语包括以实现类似目的的宽泛类似的方式操作的所有其技术等同物。在此对“一个实现”或“另一实现”或“示例性实现”或“备选实现”或类似短语的引用意味着：结合实现所描述的特定特征、特定结构或特定特性可以被包括在自然运动控制器的至少一个实现中。进一步，贯穿说明书的这样的短语的出现不必全部指代相同实现，也不是相互排除其他实现的分离或备选的实现。还应当理解，针对表示自然运动控制器的一个或多个实现的任何过程流的在此所描述或所图示的顺序未固有地指示对以所描述或所图示的顺序待实现的过程的任何要求，针对任何过程流的在此所描述或所图示的任何这样的顺序也不隐含自然运动控制器的任何限制。如本文所利用的，术语“部件”、“系统”、“客户端”等旨在指代计算机相关实体、硬件、软件(例如，在执行时)、固件或者其组合。例如，部件可以是在处理器上运行的过程、对象、可执行的、程序、函数、库、子例程、计算机或软件模块和硬件的组合。通过说明，在服务器和服务器二者上运行的应用可以是部件。一个或多个部件可以驻留在过程内并且部件可以被定位在一个计算机上和/或被分布在两个或更多个计算机之间。术语“处理器”通常被理解为指代硬件部件，诸如计算机系统的处理单元。此外，在不排除任何附加或者其他元素的情况下，可以使用在详细描述中或权利要求中的术语“包括”、“包含”、“具有”、“含有”和其变型和其他类似词语和短语旨在以作为开放式过渡词的术语“包括”类似的方式中是包括性的。1.0介绍：通常，如在此所描述的“自然运动控制器”提供用于标识用户的身体的一个或多个部分的运动以与计算设备和电子地控制或者致动的设备或机器交互并且控制计算设备和电子地控制或者致动的设备或机器的各种技术，从而实现各种自然用户接口(NUI)场景。用户设备的运动根据惯性传感器数据由机器学习运动序列模型被标识、可选地与其他传感器数据(例如，光学、温度、接近等)组合、由耦合到一个或多个用户穿戴、携带或者手持的移动计算设备或者以与其一个或多个用户穿戴、携带或者手持的移动计算设备关联的传感器集返回。注意，出于讨论的目的，不管那些设备的特定形式因子如何，这些用户穿戴、携带或手持的移动计算设备有时在本文中被称为“用户穿戴控制设备”。通过响应于用户的身体的一个或多个部分的所标识的一个或多个预定义运动的序列而触发一个或多个应用命令的序列的执行，来实现由自然运动控制器使能的交互和控制。鉴于以下详细描述，这些能力提供各种优点和技术效果。这些优点和技术效果的示例包括但不限于由提供使得用户能够执行简单的身体运动以控制一个或多个计算设备和电子地控制或致动的设备或机器的设备和过程而造成的改进的用户效率。这样的能力还用来通过允许用户通过在不需要物理地与那些设备交互的情况下执行简单的身体部分运动，来自动地和/或远程地控制多个计算设备和电本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：通过连结从一个或多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段来构建复合运动识别窗口，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备；将所述复合运动识别窗口传递到由一个或多个基于机器的深度学习过程训练的运动识别模型；将所述运动识别模型应用到所述复合运动识别窗口以标识一个或多个用户身体部分的一个或多个预定义运动的序列；以及响应于所标识的所述一个或多个预定义运动的序列，触发一个或多个应用命令的序列的执行，由此通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率。

【技术特征摘要】
【国外来华专利技术】2014.09.30 US 14/502,5491.一种计算机实现的方法，包括：通过连结从一个或多个分离的惯性传感器集接收到的惯性传感器数据的可调整数目的顺序时段来构建复合运动识别窗口，每个分离的惯性传感器集被耦合到多个用户穿戴控制设备中的分离的用户穿戴控制设备；将所述复合运动识别窗口传递到由一个或多个基于机器的深度学习过程训练的运动识别模型；将所述运动识别模型应用到所述复合运动识别窗口以标识一个或多个用户身体部分的一个或多个预定义运动的序列；以及响应于所标识的所述一个或多个预定义运动的序列，触发一个或多个应用命令的序列的执行，由此通过使得用户能够通过执行身体部分运动与计算设备交互来增加用户交互性能和效率。2.根据权利要求1所述的计算机实现的方法，进一步包括：响应于从一个或多个用户的所述控制设备接收到的传感器数据，周期性地重新训练所述运动识别模型。3.根据权利要求2所述的计算机实现的方法，其中重新训练所述运动识别模型在与个体用户的所述用户穿戴控制设备相关联的所述运动识别模型的本地复制的每用户基础上被执行。4.根据权利要求1或权利要求2或权利要求3所述的计算机实现的方法，其中所述多个用户穿戴控制设备中的至少一个用户穿戴控制设备是腕戴式控制设备，并且其中所述一个或多个预定义运动的序列包括所述用户的手腕的扭转。5.根据权利要求4所述的计算机实现的方法，其中所述用户的手腕的所述扭转触发通信设备的通信会话的执行。6.根据权利要求1或权利要求2或权利要求3或权利要求4或权利要求5所述的计算机实现的方法，其中两个或更多个不同的用户之间的、一个或多个用户身体部分的所述运动之间的同步的标识触发所述一个或多个应用命令的序列的所述执行。7.根据权利要求6所述的计算机实现的方法，其中所述同步通过比较与所述两个或更多个不同的用户的所述复合运动识别窗口相关联的时间戳而被标识。8.根据权利要求6或权利要求7所述的计算机实现的方法，其中跟随确定所述两个或更多个用户的所述用户穿戴控制设备在其他用户中的至少一个用户的所述用户穿戴控制设备中的至少一个用户穿戴控制设备的最小阈值距离内，所述同步被标识。9.一种系统，包括：通用计算设备；以及计算机程序，其包括由所述计算设备可执行的程序模块，其中所述计算设备由所述计算机程序的所述程序模块引导以：从加速度和角速度数据的一个或多个顺序时段提取特征，所述加速度和角速度数据从一个或多个分离的惯性传感器集被接...

【专利技术属性】
技术研发人员：王嘉平，李宇佳，黄学东，吴凌峰，熊炜，姚开盛，G·茨威格，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US