用于离散和连续手势的同时检测的方法和装置制造方法及图纸

根据至少一个方面，提供了一种计算机化系统。该计算机化系统包括被配置成记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，其中该多个神经肌肉传感器被布置在一个或更多个可佩戴设备上，并且该系统包括至少一个计算机处理器或计算设备。该至少一个计算机处理器可以被编程为：使用一个或更多个经训练的统计模型和多个神经肌肉信号来确定表示由用户执行的至少一个移动的位置信息和力信息；以及至少部分地基于该位置信息和/或力信息来识别由用户执行的手势。

【技术实现步骤摘要】
【国外来华专利技术】用于离散和连续手势的同时检测的方法和装置背景存在经由肌电用户界面(myoelectricuserinterface)控制计算机系统的技术。在一种这样的方法中，用户佩戴大小适合围绕用户前臂或手腕的带。所述带包括肌电传感器，该肌电传感器被布置成通过感测用户的肌肉活动来检测手和/或手指手势(gesture)。典型地，可佩戴的带包括接收感测的信号并将它们转换成电子控制信号的处理能力，电子控制信号然后被(无线地或以其他方式)传送到被控制的设备，例如计算机、某种其他便携式电子设备、在这样的设备上执行的应用等。在生成人体的肌肉骨骼表示(musculoskeletalrepresentation)的一些计算机应用中，希望应用知道用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户的手的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可佩戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像设备(例如，固定位置照相机)来重建用户身体部位的位置和定向。概述根据至少一个方面，提供了一种系统。该系统包括：包括多个传感器的可佩戴设备，该多个传感器包括神经肌肉传感器(neuromuscularsensor)，并且被配置成生成至少一个输出信号，该至少一个输出信号指示由佩戴该可佩戴设备的用户执行的移动，至少一个输出信号包括由神经肌肉传感器生成的神经肌肉信号；以及，至少一个计算设备，该至少一个计算设备通信地耦合到多个传感器，并且被配置成：从多个传感器接收该至少一个输出信号；使用一个或更多个模型，基于至少一个输出信号来识别由用户执行的第一手势；以及使用一个或更多个模型，基于至少一个输出信号来识别与第一手势同时被用户执行的第二手势。在一些实施例中，第一手势是离散手势，并且第二手势是连续手势。在一些实施例中，多个传感器包括惯性测量单元(IMU)传感器，并且至少一个输出信号包括由IMU传感器生成的IMU信号。在一些实施例中，至少一个计算设备被配置成至少部分地基于神经肌肉信号来识别由用户执行的第一手势，并且至少部分地基于IMU信号来识别与第一手势同时被用户执行的第二手势。在一些实施例中，第一手势是离散手势，并且第二手势是连续手势。在一些实施例中，至少一个计算设备被配置成至少部分地基于神经肌肉信号来识别由用户执行的第一手势，并且至少部分地基于神经肌肉信号来识别与第一手势被用户同时执行的第二手势。在一些实施例中，至少一个计算设备被配置成使用一个或更多个模型中的第一模型来识别第一手势，并且使用一个或更多个模型中的不同于该第一模型的第二模型来识别与第一手势同时被执行的第二手势。在一些实施例中，至少一个计算设备被配置成至少部分地通过以下操作来训练第一模型以识别第一手势：生成包括至少一个输出信号的第一片段(segment)的第一训练数据集，在该第一片段期间，用户同时执行第一手势和第二手势；以及使用该第一训练数据集来训练第一模型。在一些实施例中，至少一个计算设备被配置成至少部分地通过以下操作来训练第二模型以识别第二手势：生成包括至少一个输出信号的第二片段的第二训练数据集，在该第二片段期间，用户同时执行第一手势和第二手势；以及使用训练数据集来训练第二模型。在一些实施例中，第一训练数据集与第二训练数据集相同。在一些实施例中，神经肌肉传感器包括从包括以下项的组中选出的传感器：肌电图(EMG)传感器、肌动图(MMG)传感器和声肌图(SMG)传感器。在一些实施例中，可佩戴设备包括被配置成围绕用户身体部位佩戴的柔性带或弹性带。在一些实施例中，柔性带或弹性带包括被配置成围绕用户手臂佩戴的臂带。在一些实施例中，一个或更多个模型中的至少一个是经训练的统计模型。在一些实施例中，经训练的统计模型被实现为神经网络(例如，循环神经网络)、非线性回归模型或马尔可夫模型(Markovmodel)。在一些实施例中，至少一个计算设备与可佩戴设备集成。根据至少一个方面，提供了一种具有多种操作模式的系统，该多种操作模式包括第一操作模式和第二操作模式。该系统包括：包括多个传感器的可佩戴设备，该多个传感器包括肌电图(EMG)传感器，并且被配置成生成至少一个输出信号，该至少一个输出信号指示由佩戴可佩戴设备的用户执行的移动，至少一个输出信号包括由EMG传感器生成的EMG信号；以及至少一个计算设备，该至少一个计算设备通信地耦合到多个传感器，并且被配置成：从多个传感器接收至少一个输出信号；使用一个或更多个模型，在系统处于第一操作模式时基于至少一个输出信号来识别由用户执行的第一手势；响应于识别第一手势，将系统的当前操作模式从第一操作模式改变为第二操作模式；以及使用一个或更多个模型，在系统处于第二操作模式时基于至少一个输出信号来识别由用户执行的第二手势。在一些实施例中，第一手势是离散手势，并且第二手势是连续手势。在一些实施例中，多个传感器包括惯性测量单元(IMU)传感器，并且至少一个输出信号包括由IMU传感器生成的IMU信号。在一些实施例中，至少一个计算设备被配置成至少部分地基于EMG信号来识别由用户执行的第一手势，并且至少部分地基于IMU信号来识别第二手势。在一些实施例中，第一手势是离散手势，并且第二手势是连续手势。在一些实施例中，至少一个计算设备被配置成至少部分地基于EMG信号来识别由用户执行的第一手势，并且至少部分地基于EMG信号来识别与第一手势同时被用户执行的第二手势。在一些实施例中，至少一个计算设备被配置成至少部分地基于EMG信号来识别由用户执行的第一手势，并且至少部分地基于EMG信号来识别由用户执行的第二手势。在一些实施例中，至少一个计算设备被配置成使用一个或更多个模型中的第一模型来识别第一手势，并且使用一个或更多个模型中的不同于该第一模型的第二模型来识别第二手势。在一些实施例中，可佩戴设备包括被配置成围绕用户身体部位佩戴的柔性带或弹性带。在一些实施例中，柔性带或弹性带包括被配置成围绕用户手臂佩戴的臂带。在一些实施例中，一个或更多个模型中的至少一个是经训练的统计模型。在一些实施例中，经训练的统计模型被实现为神经网络(例如，循环神经网络)、非线性回归模型或马尔可夫模型。在一些实施例中，至少一个计算设备与可佩戴设备集成。在一些实施例中，至少一个计算设备被配置成响应于系统的当前操作模式从第一操作模式改变为第二操作模式来执行至少一个软件应用。根据至少一个方面，提供了一种计算机化系统。该计算机化系统包括：被配置成连续记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，其中多个神经肌肉传感器被布置在一个或更多个可佩戴设备上；以及至少一个计算机处理器，该至少一个计算机处理器被编程为：使用一个或更多个经训练的统计模型和多个神经肌肉信号，确定表示由用户执行的至少一个移动的位置信息和力信息；以及至少部分地基于位置信息和/或力信息来识别由用户执行的离散手本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n可佩戴设备，其包括多个传感器，所述多个传感器包括神经肌肉传感器，并且被配置成生成至少一个输出信号，所述至少一个输出信号指示由佩戴所述可佩戴设备的用户执行的移动，所述至少一个输出信号包括由所述神经肌肉传感器生成的神经肌肉信号；以及/n至少一个计算设备，其通信地耦合到所述多个传感器，并且被配置成：/n从所述多个传感器接收所述至少一个输出信号；/n使用一个或更多个模型，基于所述至少一个输出信号来识别由用户执行的第一手势；以及/n使用所述一个或更多个模型，基于所述至少一个输出信号来识别与所述第一手势同时被用户执行的第二手势。/n

【技术特征摘要】
【国外来华专利技术】20171130 US 62/592,656;20180125 US 62/621,7281.一种系统，包括：
可佩戴设备，其包括多个传感器，所述多个传感器包括神经肌肉传感器，并且被配置成生成至少一个输出信号，所述至少一个输出信号指示由佩戴所述可佩戴设备的用户执行的移动，所述至少一个输出信号包括由所述神经肌肉传感器生成的神经肌肉信号；以及
至少一个计算设备，其通信地耦合到所述多个传感器，并且被配置成：
从所述多个传感器接收所述至少一个输出信号；
使用一个或更多个模型，基于所述至少一个输出信号来识别由用户执行的第一手势；以及
使用所述一个或更多个模型，基于所述至少一个输出信号来识别与所述第一手势同时被用户执行的第二手势。


2.根据权利要求1所述的系统，其中，所述第一手势是离散手势，并且所述第二手势是连续手势。


3.根据权利要求1所述的系统，其中，所述多个传感器包括惯性测量单元(IMU)传感器，并且所述至少一个输出信号包括由所述IMU传感器生成的IMU信号。


4.根据权利要求3所述的系统，其中，所述至少一个计算设备被配置成至少部分地基于所述神经肌肉信号来识别由用户执行的所述第一手势，并且至少部分地基于所述IMU信号来识别与所述第一手势同时被用户执行的所述第二手势。


5.根据权利要求4所述的系统，其中，所述第一手势是离散手势，并且所述第二手势是连续手势。


6.根据权利要求1所述的系统，其中，所述至少一个计算设备被配置成至少部分地基于所述神经肌肉信号来识别由用户执行的所述第一手势，并且至少部分地基于所述神经肌肉信号来识别与所述第一手势同时被用户执行的所述第二手势。


7.根据权利要求1所述的系统，其中，所述至少一个计算设备被配置成使用所述一个或更多个模型中的第一模型来识别所述第一手势，并且使用所述一个或更多个模型中的不同于所述第一模型的第二模型来识别与所述第一手势同时被执行的所述第二手势。


8.根据权利要求7所述的系统，其中，所述至少一个计算设备被配置成至少部分地通过以下操作来训练所述第一模型以识别所述第一手势：
生成包括所述至少一个输出信号的第一片段的第一训练数据集，在该第一片段期间，用户同时执行所述第一手势和所述第二手势；以及
使用所述第一训练数据集来训练所述第一模型。


9.根据权利要求8所述的系统，其中，所述至少一个计算设备被配置成至少部分地通过以下操作来训练所述第二模型以识别所述第二手势：
生成包括所述至少一个输出信号的第二片段的第二训练数据集，在该第二片段期间，用户同时执行所述第一手势和所述第二手势；以及
使用所述训练数据集来训练所述第二模型。


10.根据权利要求9所述的系统，其中，所述第一训练数据集与所述第二训练数据集相同。


11.根据权利要求1所述的系统，其中，所述神经肌肉传感器包括从包括以下项的组中选出的传感器：肌电图(EMG)传感器、肌动图(MMG)传感器和声肌图(SMG)传感器。


12.根据权利要求1所述的系统，其中，所述可佩戴设备包括被配置成围绕用户身体部位佩戴的柔性带或弹性带。


13.根据权利要求12所述的系统，其中，所述柔性带或弹性带包括被配置成围绕用户手臂佩戴的臂带。


14.根据权利要求1所述的系统，其中，所述一个或更多个模型中的至少一个是经训练的统计模型。


15.根据权利要求14所述的系统，其中，所述经训练的统计模型被实现为神经网络、非线性回归模型或马尔可夫模型。


16.根据权利要求1所述的系统，其中，所述至少一个计算设备与所述可佩戴设备集成。


17.一种具有多种操作模式的系统，所述多种操作模式包括第一操作模式和第二操作模式，所述系统包括：
可佩戴设备，其包括多个传感器，所述多个传感器包括肌电图(EMG)传感器，并且被配置成生成至少一个输出信号，所述至少一个输出信号指示由佩戴所述可佩戴设备的用户执行的移动，所述至少一个输出信号包括由所述EMG传感器生成的EMG信号；以及
至少一个计算设备，其通信地耦合到所述多个传感器，并且被配置成：
从所述多个传感器接收所述至少一个输出信号；
使用一个或更多个模型，在所述系统处于所述第一操作模式时基于所述至少一个输出信号来识别由用户执行的第一手势；
响应于识别所述第一手势，将所述系统的当前操作模式从所述第一操作模式改变为所述第二操作模式；以及
使用所述一个或更多个模型，在所述系统处于所述第二操作模式时基于所述至少一个输出信号来识别由用户执行的第二手势。


18.根据权利要求17所述的系统，其中，所述第一手势是离散手势，并且所述第二手势是连续手势。


19.根据权利要求17所述的系统，其中，所述多个传感器包括惯性测量单元(IMU)传感器，并且所述至少一个输出信号包括由所述IMU传感器生成的IMU信号。


20.根据权利要求19所述的系统，其中，所述至少一个计算设备被配置成至少部分地基于所述EMG信号来识别由用户执行的所述第一手势，并且至少部分地基于所述IMU信号来识别所述第二手势。


21.根据权利要求20所述的系统，其中，所述第一手势是离散手势，并且所述第二手势是连续手势。


22.根据权利要求17所述的系统，其中，所述至少一个计算设备被配置成至少部分地基于所述EMG信号来识别由用户执行的所述第一手势，并且至少部分地基于所述EMG信号来识别与所述第一手势同时被用户执行的所述第二手势。


23.根据权利要求17所述的系统，其中，所述至少一个计算设备被配置成使用所述一个或更多个模型中的第一模型来识别所述第一手势，并且使用所述一个或更多个模型中的不同于所述第一模型的第二模型来识别与所述第一手势同时被执行的所述第二手势。


24.根据权利要求17所述的系统，其中，所述可佩戴设备包括被配置成围绕用户身体部位佩戴的柔性带或弹性带。


25.根据权利要求24所述的系统，其中，所述柔性带或弹性带包括被配置成围绕用户手臂佩戴的臂带。


26.根据权利要求17所述的系统，其中，所述一个或更多个模型中的至少一个是经训练的统计模型。


27.根据权利要求26所述的系统，其中，所述经训练的统计模型被实现为神经网络、非线性回归模型或马尔可夫模型。


28.根据权利要求17所述的系统，其中，所述至少一个计算设备与所述可佩戴设备集成。


29.根据权利要求17所述的系统，其中，所述至少一个计算设备被配置成响应于所述系统的当前操作模式从所述第一操作模式改变为所述第二操作模式来执行至少一个软件应用。


30.一种计算机化系统，包括：
多个神经肌肉传感器，其被配置成连续记录来自用户的多个神经肌肉信号，其中...

【专利技术属性】
技术研发人员：P·凯福什，S·德默斯，亚当·贝雷恩兹维戈，迈克尔·阿斯托尔菲，拉娜·阿瓦德，图多尔·吉尔杰卡蒂龙，亚当·阿尔纳特谢，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US