利用神经肌肉信号进行手部状态表示建模的校准技术制造技术

用于校准用来生成肌肉骨骼表示的一个或更多个统计模型的性能的方法和装置。该方法包括控制经由用户界面的指令呈现，以指示用户执行至少一个手势，以及至少部分地基于在用户执行该至少一个手势期间由多个神经肌肉传感器记录的多个神经肌肉信号来更新该一个或更多个统计模型的至少一个参数。

【技术实现步骤摘要】
【国外来华专利技术】利用神经肌肉信号进行手部状态表示建模的校准技术相关申请本申请根据35U.S.C.§119(e)要求于2018年1月25日提交的、题为“CALIBRATIONTECHNIQUESFORHANDSTATEREPRESENTATIONMODELINGUSINGNEUROMUSCULARSIGNALS”、序列号为62/621,838的美国临时申请的优先权，其全部内容通过引用结合于此。背景在生成人体的肌肉骨骼表示(musculoskeletalrepresentation)的一些计算机应用中，希望应用知道或者推断用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户的手的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可佩戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像设备(例如，固定位置照相机)来重建用户身体部位的位置和定向。<br>概述一本文档来自技高网...

【技术保护点】
1.一种被配置成校准一个或更多个统计模型的性能的计算机化系统，所述统计模型用于生成肌肉骨骼表示，所述系统包括：/n多个神经肌肉传感器，其被配置成连续记录多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在至少一个可佩戴设备上；以及/n至少一个计算机处理器，其被编程为：/n使用统计模型处理所述多个神经肌肉信号中的至少一些，以生成所述肌肉骨骼表示；/n至少部分地基于所述肌肉骨骼表示的至少一个方面，来确定需要校准用于生成所述肌肉骨骼模型的统计模型；/n响应于确定需要校准，启动校准会话；/n至少部分地基于由所述多个神经肌肉传感器记录的多个神经肌肉信号和表示在所述校准会话期间记录的位置信息和/或力信息...

【技术特征摘要】
【国外来华专利技术】20180125 US 62/621,8381.一种被配置成校准一个或更多个统计模型的性能的计算机化系统，所述统计模型用于生成肌肉骨骼表示，所述系统包括：
多个神经肌肉传感器，其被配置成连续记录多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在至少一个可佩戴设备上；以及
至少一个计算机处理器，其被编程为：
使用统计模型处理所述多个神经肌肉信号中的至少一些，以生成所述肌肉骨骼表示；
至少部分地基于所述肌肉骨骼表示的至少一个方面，来确定需要校准用于生成所述肌肉骨骼模型的统计模型；
响应于确定需要校准，启动校准会话；
至少部分地基于由所述多个神经肌肉传感器记录的多个神经肌肉信号和表示在所述校准会话期间记录的位置信息和/或力信息的基础真实数据来更新统计模型配置，以产生更新的统计模型；
使用所述更新的统计模型处理所述多个神经肌肉信号中的至少一些，以生成更新的肌肉骨骼表示；
至少部分地基于所述更新的肌肉骨骼表示的至少一个方面，来确定是否需要进一步校准所述统计模型；以及
响应于确定不需要进一步校准，结束所述校准会话。


2.根据权利要求1所述的计算机化系统，其中，更新所述统计模型配置包括选择与用于生成所述肌肉骨骼表示的统计模型不同的统计模型来生成所述更新的肌肉骨骼表示。


3.根据权利要求1所述的计算机化系统，还包括：
用户界面，其被配置成指示用户在所述配置会话期间执行至少一个手势，
其中，所述至少一个计算机处理器还被编程为控制经由所述用户界面的指令呈现，以指示用户执行所述至少一个手势，并且
其中，更新所述统计模型配置至少部分地基于在用户执行所述至少一个手势期间由所述多个神经肌肉传感器记录的多个神经肌肉信号。


4.根据权利要求3所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为至少部分地基于所存储的对所述至少一个手势的位置信息、力信息和神经肌肉信息中的一个或更多个的估计，来更新所述统计模型配置。


5.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为控制至少一个外部设备来捕获所述基础真实数据。


6.根据权利要求5所述的计算机化系统，其中，所述至少一个外部设备包括被配置成捕获至少一个图像的成像设备，并且其中，至少部分地基于所述至少一个图像来确定所述基础真实数据。


7.根据权利要求5所述的计算机化系统，其中，所述至少一个外部设备包括惯性测量单元。


8.根据权利要求5所述的计算机化系统，其中，所述至少一个外部设备包括多个外部设备，所述多个外部设备中的每个外部设备被配置成捕获所述基础真实数据的位置信息或力信息。


9.根据权利要求1所述的计算机化系统，其中，更新所述统计模型配置包括至少部分地基于在所述校准会话期间记录的多个神经肌肉信号来训练所述统计模型。


10.根据权利要求1所述的计算机化系统，其中，所述统计模型是经训练的统计模型，并且其中，更新所述统计模型配置包括调整作为输入被提供给所述经训练的统计模型的一个或更多个参数，而不重新训练所述经训练的统计模型。


11.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为在所述校准会话期间向用户提供反馈，其中，所述反馈涉及所述更新的肌肉骨骼表示与在所述校准会话期间记录的基础真实数据之间的匹配程度。


12.根据权利要求11所述的计算机化系统，其中，向用户提供反馈包括提供视觉反馈。


13.根据权利要求3所述的计算机化系统，其中，指示用户执行至少一个手势包括指示用户执行手势的预定集合。


14.根据权利要求13所述的计算机化系统，其中，控制经由所述用户界面的指令呈现包括指示用户连续执行所述预定集合中的手势。


15.根据权利要求1所述的计算机化系统，其中，确定需要校准包括基于所述肌肉骨骼表示的至少一个方面，识别所述统计模型不擅长估计的至少一个手势特性。


16.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为基于所述肌肉骨骼表示和/或所述更新的肌肉骨骼表示来再现与手相关联的视觉表示。


17.根据权利要求16所述的计算机化系统，其中，所述视觉表示在所述校准会话期间被再现。


18.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
在训练之后使用所述统计模型期间，连续跟踪所述统计模型的性能校准；以及
当所述性能校准偏离可接受校准阈值特定量时，启动校准会话。


19.根据权利要求1所述的计算...

【专利技术属性】
技术研发人员：P·凯福什，图多尔·吉尔杰卡蒂龙，亚当·贝雷恩兹维戈，史蒂文·科伯，亚当·阿尔纳特谢，亚历山大·巴拉尚，王琢，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US