一种用于基于图像和惯性测量单元(IMU)两者跟踪用户的部位的取向的系统。例如，该系统接收示出穿戴传感器模块的用户的一部分的图像。该系统接收由附接到用户的一些部位的传感器模块生成的取向测量结果的第一集合。该系统从图像中确定用户的部分的一个或多个特征的取向测量结果的第二集合。该系统提供所述取向测量结果的第一集合和所述取向测量结果的第二集合作为对人工神经网络的输入，所述人工神经网络被配置成预测所述用户的一个或多个其他部位的将由附加传感器模块(如果所述附加传感器模块将附接到所述用户的所述其他部位)测量的取向测量结果。量的取向测量结果。量的取向测量结果。
【技术实现步骤摘要】
【国外来华专利技术】基于图像和惯性测量单元两者的取向确定
[0001]相关申请
[0002]本申请要求2019年9月19日提交的标题为“ORIENTATION DETERMINATION BASED ON BOTH IMAGES AND INERTIAL MEASUREMENT UNITS”的美国专利申请序列号16/576,672的优先权，所述美国专利申请的全部公开内容据此以引用方式并入本文。
[0003]本申请涉及2018年5月7日提交的标题为“Tracking User Movements to Control a Skeleton Model in a Computer System”的美国专利申请序列号15/973,137、2018年6月1日提交的标题为“Motion Predictions of Overlapping Kinematic Chains of a Skeleton Model Used to Control a Computer System”的美国专利申请序列号15/996,389、2018年1月11日提交的标题为“Correction of Accumulated Errors in Inertial Measurement Units Attached to a User”的美国专利申请序列号15/868,745、2018年1月8日提交的标题为“Tracking Torso Leaning to Generate Inputs for Computer Systems”的美国专利申请序列号15/864,860、2017年12月19日提交的标题为“Calibration of Inertial Measurement Units Attached to Arms of a User and a Head Mounted Device”的美国专利申请序列号15/847,669、2017年11月20日提交的标题为“Calibration of Inertial Measurement Units Attached to Arms of a User to Generate Inputs for Computer Systems”的美国专利申请序列号15/817,646、2017年11月15日提交的标题为“Tracking Torso Orientation to Generate Inputs for Computer Systems”的美国专利申请序列号15/813,813、2017年10月24日提交的标题为“Tracking Finger Movements to Generate Inputs for Computer Systems”的美国专利申请序列号15/792,255、2017年10月18日提交的标题为“Tracking Arm Movements to Generate Inputs for Computer Systems”的美国专利申请序列号15/787,555，以及2017年4月20日提交的标题为“Devices for Controlling Computers based on Motions and Positions of Hands”的美国专利申请序列号15/492,915，它们的全部公开内容据此以引用方式并入本文。
[0004]本公开的至少一部分总体上涉及计算机输入装置，并且更具体地但不限于用于使用计算装置(诸如移动电话、智能手表、相似的移动装置和/或其他装置)实现的虚拟现实和/或增强/混合现实应用的输入装置。
技术介绍
[0005]美国专利申请公开No.2014/0028547公开了一种用户控制装置，所述用户控制装置具有组合惯性传感器以检测装置在真实或虚拟三维空间内进行指向和选择的移动。
[0006]美国专利申请公开No.2015/0277559公开了一种安装在指环上的触摸屏，所述触摸屏具有无线收发器，该无线收发器无线传输从触摸屏上的事件生成的命令。
[0007]美国专利申请公开No.2015/0358543公开了一种运动捕获装置，所述运动捕获装置具有多个惯性测量单元以测量用户的手指和手掌的运动参数。
[0008]美国专利申请公开No.2007/0050597公开了一种具有加速度传感器和陀螺仪传感器的游戏控制器。美国专利No.D772,986公开了用于无线游戏控制器的装饰设计。
[0009]中国专利申请公开No.103226398公开了使用微惯性传感器网络技术的数据手套，其中每个微惯性传感器是姿态和航向参考系统，具有封装在电路板上的三轴微机电系统(MEMS)微陀螺仪、三轴微加速度传感器和三轴地磁传感器。美国专利申请公开No.2014/0313022和美国专利申请公开No.2012/0025945公开了其他数据手套。
[0010]美国专利申请公开No.2016/0085310公开了用于从图像数据跟踪手或身体姿势的技术，其中从候选姿势池中选择最佳候选姿势作为当前跟踪的姿势。
[0011]美国专利申请公开No.2017/0344829公开了一种使用递归神经网络(RNN)的动作检测方案，其中将联合位置应用于递归神经网络(RNN)以确定表示视频帧中描绘的实体的动作的动作标签。
[0012]上面讨论的专利文件的公开内容特此以引用方式并入本文。
附图说明
[0013]实施方案在附图的各图中以示例而非限制的方式示出，其中相同的附图标记指示相似的元件。
[0014]图1示出了根据一个实施方案的用于跟踪用户移动的系统。
[0015]图2示出了根据一个实施方案的用于控制计算机操作的系统。
[0016]图3示出了根据一个实施方案的可通过跟踪用户移动来进行控制的骨架模型。
[0017]图4和图5示出了根据一个实施方案的用于训练递归神经网络(RNN)并使用RNN基于一个跟踪系统的移动测量结果来预测另一跟踪系统的移动测量结果的方法。
[0018]图6和图7示出了根据一个实施方案的用于训练递归神经网络(RNN)并使用RNN基于剩余的跟踪装置预测省略的跟踪装置的移动测量结果的方法。
[0019]图8和图9示出了根据一个实施方案的用于使用人工神经网络(ANN)来跟踪用户移动的方法
[0020]图10至图12示出了处理示出用户的一部分的图像，以确定用户的该部分的预定义特征的取向。
[0021]图13和图14示出了根据一个实施方案的用于训练递归神经网络(RNN)并使用RNN基于一个跟踪系统的移动测量结果和用户的该部分的预定义特征的取向预测另一跟踪系统的移动测量结果的方法。
[0022]图15和图16示出了根据一个实施方案的用于训练递归神经网络(RNN)并使用RNN基于剩余的跟踪装置和用户的该部分的预定义特征的取向预测省略的跟踪装置的移动测量结果的方法。
[0023]图17示出了使用相机和惯性测量单元(IMU)的取向确定方法。
具体实施方式
[0024]以本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收图像，所述图像示出穿戴多个传感器模块的用户的一部分，所述传感器模块中的每个具有惯性测量单元，所述惯性测量单元被配置成确定所述惯性测量单元的取向，其中所述用户的骨架模型包括具有经由关节连接的多个刚性部位的运动链，其中经由所述用户穿戴的所述传感器模块来跟踪所述运动链中的第一刚性部位的取向；并且未使用惯性测量单元跟踪所述运动链中的一个或多个第二刚性部位；接收由所述传感器模块为所述第一刚性部位生成的第一取向测量结果；从所述图像中确定所述用户的所述部分的一个或多个特征的第二取向测量结果；提供所述第一取向测量结果和所述第二取向测量结果作为对第一人工神经网络的输入；以及由所述第一人工神经网络基于所述第一取向测量结果和所述第二取向测量结果生成所述一个或多个第二刚性部位的预测取向测量结果。2.如权利要求1所述的方法，其中使用第二人工神经网络(ANN)从所述图像中确定所述一个或多个特征的所述第二取向测量结果。3.如权利要求2所述的方法，其中所述第二ANN是卷积神经网络。4.如权利要求3所述的方法，其中所述第一人工神经网络是递归神经网络。5.如权利要求4所述的方法，还包括：使用头戴式显示器中的相机周期性地捕获图像以向所述第二ANN提供输入，所述第二ANN在频率下从所述图像中生成一个或多个特征的取向测量结果作为所述第一ANN的输入，所述频率低于所述传感器模块生成所述第一刚性部位的取向测量结果作为所述第一ANN的输入的频率。6.如权利要求5所述的方法，其中训练所述第一人工神经网络以预测所述第二刚性部位的使用光学跟踪系统测量的取向测量结果。7.如权利要求5所述的方法，其中训练所述第一人工神经网络以预测所述第一刚性部位的使用所述光学跟踪系统测量的取向测量结果。8.一种系统，包括：一个或多个处理器；以及非暂时性计算机可读介质，所述非暂时性计算机可读介质包括一个或多个指令序列，所述一个或多个指令序列在由所述一个或多个处理器执行时致使：接收图像，所述图像示出穿戴多个传感器模块的用户的一部分，所述传感器模块中的每个具有惯性测量单元，所述惯性测量单元被配置成确定所述惯性测量单元的取向，其中所述用户的骨架模型包括具有经由关节连接的多个刚性部位的运动链，其中经由所述用户穿戴的所述传感器模块来跟踪所述运动链中的第一刚性部位的取向；并且未使用惯性测量单元跟踪所述运动链中的一个或多个第二刚性部位；接收由所述传感器模块为所述第一刚性部位生成的第一取向测量结果；从所述图像中确定所述用户的所述部分的一个或多个特征的第二取向测量结果；提供所述第一取向测量结果和所述第二取向测量结果作为对第一人工神经网络的输入；以及由所述第一人工神经网络基于所述第一取向测量结果和所述第二取向测量结果生成
所述一个或多个第二刚性部位的预测取向测量结果。9.如权利要求...
【专利技术属性】
技术研发人员：维克托，
申请(专利权)人：芬奇科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。