基于图像和惯性测量单元两者的取向确定制造技术

一种用于基于图像和惯性测量单元(IMU)两者跟踪用户的部位的取向的系统。例如，该系统接收示出穿戴传感器模块的用户的一部分的图像。该系统接收由附接到用户的一些部位的传感器模块生成的取向测量结果的第一集合。该系统从图像中确定用户的部分的一个或多个特征的取向测量结果的第二集合。该系统提供所述取向测量结果的第一集合和所述取向测量结果的第二集合作为对人工神经网络的输入，所述人工神经网络被配置成预测所述用户的一个或多个其他部位的将由附加传感器模块(如果所述附加传感器模块将附接到所述用户的所述其他部位)测量的取向测量结果。量的取向测量结果。量的取向测量结果。

【技术实现步骤摘要】
【国外来华专利技术】基于图像和惯性测量单元两者的取向确定
[0001]相关申请
[0002]本申请要求2019年9月19日提交的标题为“ORIENTATION DETERMINATION BASED ON BOTH IMAGES AND INERTIAL MEASUREMENT UNITS”的美国专利申请序列号16/576,672的优先权，所述美国专利申请的全部公开内容据此以引用方式并入本文。
[0003]本申请涉及2018年5月7日提交的标题为“Tracking User Movements to Control a Skeleton Model in a Computer System”的美国专利申请序列号15/973,137、2018年6月1日提交的标题为“Motion Predictions of Overlapping Kinematic Chains of a Skeleton Model Used to Control a Computer System”的美国专利申请序列号15/996,389、2018年1月11日提交的标题为“Correction of Accum本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收图像，所述图像示出穿戴多个传感器模块的用户的一部分，所述传感器模块中的每个具有惯性测量单元，所述惯性测量单元被配置成确定所述惯性测量单元的取向，其中所述用户的骨架模型包括具有经由关节连接的多个刚性部位的运动链，其中经由所述用户穿戴的所述传感器模块来跟踪所述运动链中的第一刚性部位的取向；并且未使用惯性测量单元跟踪所述运动链中的一个或多个第二刚性部位；接收由所述传感器模块为所述第一刚性部位生成的第一取向测量结果；从所述图像中确定所述用户的所述部分的一个或多个特征的第二取向测量结果；提供所述第一取向测量结果和所述第二取向测量结果作为对第一人工神经网络的输入；以及由所述第一人工神经网络基于所述第一取向测量结果和所述第二取向测量结果生成所述一个或多个第二刚性部位的预测取向测量结果。2.如权利要求1所述的方法，其中使用第二人工神经网络(ANN)从所述图像中确定所述一个或多个特征的所述第二取向测量结果。3.如权利要求2所述的方法，其中所述第二ANN是卷积神经网络。4.如权利要求3所述的方法，其中所述第一人工神经网络是递归神经网络。5.如权利要求4所述的方法，还包括：使用头戴式显示器中的相机周期性地捕获图像以向所述第二ANN提供输入，所述第二ANN在频率下从所述图像中生成一个或多个特征的取向测量结果作为所述第一ANN的输入，所述频率低于所述传感器模块生成所述第一刚性部位的取向测量结果作为所述第一ANN的输入的频率。6.如权利要求5所述的方法，其中训练所述第一人工神经网络以预测所述第二刚性部位的使用光学跟踪系统测量的取向测量结果。7.如权利要求5所述的方法，其中训练所述第一人工神经网络以预测所述第一刚性部位的使用所述光学跟踪系统测量的取向测量结果。8.一种系统，包括：一个或多个处理器；以及非暂时性计算机可读介质，所述非暂时性计算机可读介质包括一个或多个指令序列，所述一个或多个指令序列在由所述一个或多个处理器执行时致使：接收图像，所述图像示出穿戴多个传感器模块的用户的一部分，所述传感器模块中的每个具有惯性测量单元，所述惯性测量单元被配置成确定所述惯性测量单元的取向，其中所述用户的骨架模型包括具有经由关节连接的多个刚性部位的运动链，其中经由所述用户穿戴的所述传感器模块来跟踪所述运动链中的第一刚性部位的取向；并且未使用惯性测量单元跟踪所述运动链中的一个或多个第二刚性部位；接收由所述传感器模块为所述第一刚性部位生成的第一取向测量结果；从所述图像中确定所述用户的所述部分的一个或多个特征的第二取向测量结果；提供所述第一取向测量结果和所述第二取向测量结果作为对第一人工神经网络的输入；以及由所述第一人工神经网络基于所述第一取向测量结果和所述第二取向测量结果生成
所述一个或多个第二刚性部位的预测取向测量结果。9.如权利要求...

【专利技术属性】
技术研发人员：维克托，
申请(专利权)人：芬奇科技有限公司，
类型：发明
国别省市：