基于多个输入的手部状态重建制造技术

描述了基于多个输入来动态重建手部状态信息的方法和系统。该方法和系统使用来自多个输入的数据，这些输入包括布置在一个或更多个可穿戴设备上的多个神经肌肉传感器和一个或更多个摄像机。多模态数据被提供作为经训练的统计模型的输入。该方法和系统基于来自多个输入的数据，确定肌肉骨骼表示的两个或更多个连接节段之间的空间关系的估计和表示，以及描述由该肌肉骨骼表示的至少一个节段施加的力的力信息。该方法和系统还至少部分地基于位置信息和力信息来更新计算机化的肌肉骨骼表示。

【技术实现步骤摘要】
【国外来华专利技术】基于多个输入的手部状态重建相关申请本申请根据35U.S.C.§119(e)要求于2018年1月25日提交的题为“HANDSTATERECONSTRUCTIONBASEDONMULTIPLEINPUTS”、序列号为62/621,818的美国临时申请的优先权，其全部内容通过引用结合于此。背景在生成人体的肌肉骨骼表示(musculoskeletalrepresentation)的一些计算机应用中，希望应用知道用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户手部的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可穿戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像传感器(例如，固定位置摄像机)来重建用户身体部位的位置和定向。概述一些实施例涉及预测关于用户手臂和/或手的部分的定位和移动的信息，用户手臂和/或手的部分被表示为多节段铰接刚体系统(multi-segmentarticulatedrigidbodysystem)，其具有连接刚体系统的多个节段的关节(joint)。当用户执行一个或更多个移动时，由放置在用户身体上多个定位处的可穿戴的神经肌肉传感器记录的信号作为输入被提供给统计模型，该统计模型被训练来预测与基于计算机的肌肉骨骼表示中的多个刚性节段相关联的位置(例如，绝对位置、相对位置、定向)和力的估计，该基于计算机的肌肉骨骼表示与手部相关联。与和手部相关联的肌肉骨骼表示的节段相关联的位置信息和力信息的组合在本文中被通俗地称为肌肉骨骼表示的“手部状态(handstate)”。当用户执行不同的移动时，经训练的统计模型将由可穿戴的神经肌肉传感器记录的神经肌肉信号解析为位置和力估计(手部状态信息)，这些估计用于更新肌肉骨骼表示。随着神经肌肉信号被连续记录，肌肉骨骼表示被实时更新，并且手部的(例如，在虚拟现实环境内的)视觉表示基于当前的手部状态估计被可选地再现。根据一些实施例，系统被配置成使用摄像机信息来改善对神经肌肉信号的解析以及它们与移动和力生成的关系。例如，内向外摄像机(inside-outcameras)可以与神经肌肉信号关联地使用，以更准确地表示移动和/或力的表示。例如，摄像机信息(例如图像、视频、图像的时间序列等)可以用于通过为神经肌肉信号数据提供基础真实标签(groundtruthlabel)来校准神经肌肉系统。在一个实现中，系统可以使用通过显示器或扬声器提供给用户的提示(例如，手势、单词(例如，“拳头”)、音频(“做竖起大拇指的手势”))来执行校准操作，其中用户被要求将他们的手部姿势与所投影的手的手部姿势相匹配，摄像机潜在地帮助检测匹配何时发生。此外，其他类型的摄像机数据可以用于校准神经肌肉系统，例如使用摄像机数据校准骨骼几何结构的几何模型。例如，可以使用摄像机数据来验证和/或校正几何模型的手指长度。在这种情况下，图像可以被转换成节段和关节的数学排列。在一些实施例中，可以使用神经肌肉信号、摄像机数据或两者来提供肌肉骨骼表示的实时确定。例如，由于EMG和IMU信息可以用于确定更准确的肌肉骨骼表示，诸如摄像机数据的其他数据可以用于创建更准确且一致的表示。此外，应当理解，可以使用多个信号(包括但不限于一个或更多个摄像机、来自一个或更多个设备的神经肌肉信号以及其他类型的传感器数据)来确定实时肌肉骨骼表示。其他传感器数据(包括IMU和摄像机数据)可以用于训练并改进统计模型，以及改进骨骼位置的实时表示。在一些实施例中，系统可以组合神经肌肉信号和摄像机数据(例如，摄像机信号)来重建骨骼位置。系统可以适于基于每种信号的质量来调整给予该信号的影响水平。例如，在摄像机信号的情况下，可能存在导致摄像机数据不可靠或不准确的视场或遮挡限制。例如，在神经肌肉信号的情况下，可能会产生导致EMG信号不可靠的EMG伪像。在这种情况下，系统可以被配置成评估每种信号的质量水平，以确定应当使用其中之一还是使用两者(例如，用于显示当前手部状态)。系统还可以使用加权或其他组合方法来调整在传感器类型之间使用的信号水平。此外，当特定传感器源的置信度较高时，该信号可以用于训练和/或校正其他源模型。例如，在手部处于摄像机的清晰视野中的情况下，可以评估神经肌肉信号的质量，并且可以执行手部状态模型的再训练。在一些实施例中，系统可以包括用于基于神经肌肉信号生成肌肉骨骼表示的第一统计模型和用于基于摄像机输入生成肌肉骨骼表示的第二模型。系统可以被配置成至少部分地基于与摄像机输入相关联的信息(例如用户的手部是全部地还是部分地在摄像机的视场内)在使用第一统计模型和使用第二统计模型之间转换，以用于表示用户的手部状态。例如，当用户的手部在摄像机的视场内时，第二统计模型可以用于确定用户手部节段的位置，而当用户的手部不在摄像机的视场内时，第一统计模型可以用于确定表示手部状态的用户手部节段的位置。作为替代实现，可以使用接收神经肌肉信号和摄像机输入两者的单个统计模型，并且可以如上所述对输入的贡献进行加权。在用户的手部在摄像机的视场之外的情况下，摄像机输入权重可以被设置为零或某个其他较小的值，以反映当用户的手部在摄像机的视场之外时摄像机输入对于估计位置信息的不可靠性。在一些实施例中，摄像机及其数据可以用于确定手臂、手、前臂或其他附肢(appendage)的位置。此外，在基于IMU的前臂位置估计中，摄像机数据可以用于对抗漂移，其中IMU信息用于测量前臂定向，而神经肌肉信号用于确定手和手腕配置和力。在这种情况下，EMG带上的位置跟踪参考标记可能会有所帮助，尤其是当摄像机被用于改进基于IMU的系统以跟踪铰接刚体的位置时。根据一些实施例，摄像机数据可以用于确定对象(例如，手、手指)是否受到力。例如，摄像机数据可以用于区分某人是自由移动还是压靠对象/表面、确定哪些对象正在被交互、表面/对象上的哪些位置正在被触摸，并且可以帮助估计骨骼配置/位置。应当理解，尽管摄像机数据可以用于确定是否施加了力，但是摄像机数据并不特别适合于确定所施加的力的大小。为此，其他输入信号(例如，神经肌肉信号)可以用于确定所施加的力的大小，并且也有助于确定骨骼配置/位置。根据一个方面，提供了一种计算机化系统，其用于使用摄像机信息来校准用于生成肌肉骨骼表示的一个或更多个统计模型的性能，该系统包括：被配置成捕获至少一个图像的至少一个摄像机、被配置成记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上、以及至少一个计算机处理器，该计算机处理器被编程为通过至少部分地基于多个神经肌肉信号和至少一个图像更新一个或更多个统计模型的至少一个参数来校准该一个或更多个统计模型的性能。在一些实施例中，更新一个或更多个统计模型的至少一个参数包括：当多个神经肌肉信号和/或从该多个神经肌肉信号导出的信息被提供作为一个或更多个统计模型的输入时，训练该一个或更本文档来自技高网...

【技术保护点】
1.一种用于提供与手部相关联的动态更新的肌肉骨骼表示的计算机化系统，所述系统包括：/n多个传感器，其包括：/n多个神经肌肉传感器，其被配置成连续记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及/n至少一个辅助传感器，其被配置成连续记录与用户的手部移动相关联的多个辅助信号，其中，所述至少一个辅助传感器包括被配置成捕获用户手臂和/或手的至少一部分的图像的至少一个成像传感器；以及/n至少一个计算机处理器，其被编程为：/n将所述多个神经肌肉信号和所述多个辅助信号作为输入提供给经训练的统计模型；/n基于所述经训练的统计模型的输出来确定：/n描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息；以及/n描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及/n至少部分地基于所述位置信息和所述力信息来更新所述肌肉骨骼表示。/n

【技术特征摘要】
【国外来华专利技术】20180125 US 62/621,8181.一种用于提供与手部相关联的动态更新的肌肉骨骼表示的计算机化系统，所述系统包括：
多个传感器，其包括：
多个神经肌肉传感器，其被配置成连续记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及
至少一个辅助传感器，其被配置成连续记录与用户的手部移动相关联的多个辅助信号，其中，所述至少一个辅助传感器包括被配置成捕获用户手臂和/或手的至少一部分的图像的至少一个成像传感器；以及
至少一个计算机处理器，其被编程为：
将所述多个神经肌肉信号和所述多个辅助信号作为输入提供给经训练的统计模型；
基于所述经训练的统计模型的输出来确定：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息；以及
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及
至少部分地基于所述位置信息和所述力信息来更新所述肌肉骨骼表示。


2.根据权利要求1所述的计算机化系统，其中，与手部相关联的所述肌肉骨骼表示包括对应于连接到该手部的手臂的至少一个节段。


3.根据权利要求1所述的计算机化系统，其中，所确定的位置信息包括描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的关节角度集合。


4.根据权利要求1所述的计算机化系统，其中，所确定的力信息包括由所述至少一个节段施加的线性力。


5.根据权利要求1所述的计算机化系统，其中，所确定的力信息包括由所述至少一个节段施加的扭矩。


6.根据权利要求1所述的计算机化系统，其中，所确定的力信息包括挤压力信息、抓握力信息或关于共收缩力的信息。


7.根据权利要求1所述的计算机化系统，其中，所述至少一个辅助传感器包括被配置成连续记录惯性测量单元(IMU)信号的至少一个IMU传感器。


8.根据权利要求1所述的计算机化系统，其中，所述至少一个辅助传感器包括基于辐射的传感器，该传感器被配置成在辐射入射到该传感器上时进行检测。


9.根据权利要求1所述的计算机化系统，其中，所述多个神经肌肉传感器包括肌电图(EMG)传感器、肌动图(MMG)传感器、声肌图(SMG)传感器或EMG传感器、MMG传感器和SMG传感器中两个或更多个的组合。


10.根据权利要求1所述的计算机化系统，其中，所述多个神经肌肉传感器被配置成以第一采样速率连续记录所述多个神经肌肉信号，并且所述至少一个辅助传感器被配置成以第二采样速率记录所述多个辅助信号，其中，所述第一采样速率和所述第二采样速率不同，并且其中，
(1)所述多个神经肌肉信号或所述多个辅助信号中的至少一种被重新采样，使得所述多个神经肌肉信号和所述多个辅助信号以相同的速率被提供作为所述经训练的统计模型的输入；
(2)其中，所述经训练的统计模型被配置成处理异步输入；或者
(3)其中，所述经训练的统计模型包括：
第一经训练的统计模型，其被配置成以所述第一采样速率接收所述多个神经肌肉信号作为输入；
第二经训练的统计模型，其被配置成以所述第二采样速率接收所述多个辅助信号作为输入；以及
组合器，其被配置成组合所述第一经训练的统计模型和所述第二经训练的统计模型的输出，以提供所述经训练的统计模型的输出。


11.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
对所述多个神经肌肉信号、所述多个辅助信号、或所述多个神经肌肉信号和所述多个辅助信号进行加权，其中，加权是基于与所述多个神经肌肉信号相关联的置信度和/或与所述多个辅助信号相关联的置信度。


12.根据权利要求11所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
确定与所述多个辅助信号相关联的第一置信度值；以及
当所述第一置信度值大于第一阈值时，将所述多个辅助信号作为输入提供给所述经训练的统计模型。


13.根据权利要求12所述的计算机化系统，其中，确定所述第一置信度值包括：至少部分地基于用户的手部在多个图像中是完全被遮挡还是部分被遮挡来确定所述第一置信度值。


14.根据权利要求13所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
确定与所述多个神经肌肉信号相关联的第二置信度值；以及
当所述第二置信度值大于第二阈值时，将所述多个神经肌肉信号作为输入提供给所述经训练的统计模型。


15.根据权利要求14所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为，当所述第一置信度值大于所述第一阈值并且所述第二置信度值大于所述第二阈值时，将所述多个辅助信号和所述多个神经肌肉信号作为输入提供给所述经训练的统计模型。


16.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为，至少部分地基于所述经训练的统计模型的输出的至少一个特性来修改所述经训练的统计模型的至少一个参数。


17.根据权利要求16所述的计算机化系统，其中，所述经训练的统计模型的输出的至少一个特性包括与所述经训练的统计模型的输出相关联的方差、协方差或熵。


18.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为，确定是否将所述多个神经肌肉信号、所述多个辅助信号、或所述多个神经肌肉信号和所述多个辅助信号作为输入提供给所述经训练的统计模型，其中，所述确定是基于所述经训练的统计模型的先前输出做出的。


19.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器被编程为，将所述多个神经肌肉信号和所述多个辅助信号作为输入提供给所述经训练的统计模型，其中，所述经训练的统计模型被配置成使用贝叶斯框架来组合所述多个神经肌肉信号和所述多个辅助信号。


20.根据权利要求1所述的计算机化系统，其中，所述多个神经肌肉传感器和所述至少一个辅助传感器被布置在同一可穿戴设备上。


21.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
至少部分地基于所述多个神经肌肉信号和/或所述多个辅助信号来确定导出信息，以及
将所述导出信息作为输入提供给所述经训练的统计模型。


22.根据权利要求21所述的计算机化系统，其中，所述导出信息包括导出的力信息。


23.根据权利要求1所述的计算机化系统，其中，流形定义了由所述经训练的统计模型输出的可能位置信息和力信息的完备表征空间，并且其中，所述至少一个处理器还被编程为基于所述流形的子流形来更新所述肌肉骨骼表示，其中，所述子流形定义了所述完备表征空间的降维。


24.根据权利要求23所述的计算机化系统，其中，基于所述子流形来更新所述肌肉骨骼表示包括参数化所述经训练的统计模型的输出，使得所述位置信息和/或力信息落在所述子流形内。


25.根据权利要求23所述的计算机化系统，其中，基于所述子流形来更新所述肌肉骨骼表示包括将基于所述经训练的统计模型的输出确定的位置信息和/或力信息投影到所述子流形上。


26.根据权利要求1所述的计算机化系统，其中，所述多个辅助信号选自由以下项构成的组：与用户的手部移动相关联的位置、加速度、力和角度旋转。


27.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为，基于所述经训练的统计模型的输出来确定空间中的绝对位置信息。


28.根据权利要求27所述的计算机化系统，其中，所述绝对位置信息包括手臂和/或手的至少一部分相对于用户附近的对象的位置。


29.根据权利要求27所述的计算机化系统，其中，所述绝对位置信息包括手臂和/或手的至少一部分相对于用户躯干的位置。


30.一种提供与用户的手部相关联的动态更新的肌肉骨骼表示的方法，所述方法包括：
进行以下记录：
使用多个神经肌肉传感器连续记录来自用户的多个神经肌肉信号，所述多个神经肌肉传感器布置在用户穿戴的一个或更多个可穿戴设备上；以及
使用至少一个辅助传感器连续记录与用户的手部移动相关联的多个辅助信号，其中，所述多个辅助信号选自由以下项构成的组：与用户的手部移动相关联的位置、加速度、力和角度旋转，其中，所述至少一个辅助传感器包括被配置成捕获用户手臂和/或手的至少一部分的图像的至少一个成像传感器；
将所述多个神经肌肉信号和所述多个辅助信号作为输入提供给经训练的统计模型；
基于所述经训练的统计模型的输出，并使用至少一个计算机处理器来确定：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息；以及
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及<...

【专利技术属性】
技术研发人员：P·凯福什，图多尔·吉尔杰卡蒂龙，布雷特·尤尔曼，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US