【技术实现步骤摘要】
【国外来华专利技术】通过迭代式精化的高效姿态估计
[0001]相关申请的交叉引用
[0002]本申请要求于2021年3月16日提交的美国专利申请No.17/203,607的优先权，其全部内容通过援引纳入于此。
[0003]引言
[0004]本公开的各方面涉及机器学习，尤其涉及使用机器学习模型的姿态估计。
[0005]机器学习一般是产生经训练模型(例如，人工神经网络)的过程，其表示对先验已知的训练数据集的广义拟合。将经训练模型应用于新数据使得能够产生推断，这可被用于获得关于新数据的洞察。
[0006]姿态估计(例如，人体部位的姿态估计)是大多数交互式增强现实和虚拟现实(统称为“扩展现实”)系统的关键组成部分。对于扩展现实环境中与对象的基于手的交互，获得三维世界坐标(以及图像平面坐标)中手关节位置的高度准确估计是重要的。
[0007]可惜的是，许多最先进的姿态估计模型通过大型且复杂的模型架构来实现高准确性，这导致大量的计算成本。因此，这些模型一般不合适相对较低功率的计算设备(如移动设备)，而讽刺的是，这些能力对于此类设备而言可能最有用...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：使用机器学习模型的特征提取阶段来处理输入数据以生成特征图；将注意力图应用于所述特征图以生成增强特征图；使用所述机器学习模型的精化阶段来处理所述增强特征图以生成精化特征图；使用所述机器学习模型的第一回归阶段来处理所述精化特征图以生成多维任务输出数据；以及使用所述机器学习模型的注意力阶段来处理所述精化特征数据以生成经更新注意力图。2.如权利要求1所述的方法，进一步包括：使用三维位置生成器来处理所述多维任务输出数据以生成三维位置估计。3.如权利要求2所述的方法，进一步包括：使用所述多维任务输出数据来处理所述三维位置估计以生成二维位置估计。4.如权利要求3所述的方法，其中，所述三维位置生成器包括身体元素姿态模型。5.如权利要求4所述的方法，其中：所述三维位置估计包括三维空间中的一个或多个身体元素关节位置，所述二维位置估计包括二维空间中的所述一个或多个身体元素关节位置，并且所述多维任务输出数据包括以下一者或多者：旋转估计，平移估计，或者缩放估计。6.如权利要求5所述的方法，其中，所述身体元素姿态模型包括手模型。7.如权利要求5所述的方法，进一步包括：使用所述机器学习模型的第二回归阶段来处理所述精化特征图以生成任务不确定性估计。8.如权利要求7所述的方法，进一步包括：基于所述任务不确定性估计来确定与所述三维位置估计相关联的不确定性；以及基于所述任务不确定性估计来确定与所述二维位置估计相关联的不确定性。9.如权利要求7所述的方法，进一步包括：使用所述机器学习模型的循环决策阶段来处理所述任务不确定性估计以生成循环决策值；基于所述循环决策值来确定是否要退出所述机器学习模型的处理。10.如权利要求1所述的方法，其中：使用所述机器学习模型的所述精化阶段来处理所述增强特征图包括：将批量归一化层应用于所述增强特征图，并且所述批量归一化层是基于循环计数而从多个批量归一化层中选择的。11.如权利要求5所述的方法，进一步包括：在扩展现实设备的显示屏上显示所述二维位置估计。12.如权利要求9所述的方法，进一步包括：基于所述循环决策值来确定要退出所述机器学习模型的处理。13.如权利要求9所述的方法，进一步包括：
基于所述循环决策值来确定不退出所述机器学习模型的处理；以及基于循环计数来确定要退出所述机器学习模型的处理。14.如权利要求1所述的方法，进一步包括：基于训练损失函数来确定训练损失，其中所述训练损失函数包括：不确定性损失分量；以及任务损失分量；以及基于所述训练损失来更新所述机器学习模型。15.一种处理系统，包括：存储器，所述存储器包括计算机可执行指令；一个或多个处理器，所述一个或多个处理器被配置成执行所述计算机可执行指令并使所述处理系统：使用机器学习模型的特征提取阶段来处理输入数据以生成特征图；将注意力图应用于所述特征图以生成增强特征图；使用所述机器学习模型的精化阶段来处理所述增强特征图以生成精化特征图；使用所述机器学习模型的第一回归阶段来处理所述精化特征图以生成多维任务输出数据；以及使用所述机器学习模型的注意力阶段来处理所述精化特征数据以生成经更新注意力图。16.如权利要求15所述的处理系统，其中，所述一个或多个处理器被进一步配置成使所述处理系统：使用三维位置生成器来处理所述多维任务输出数据以生成三维位置估计。17.如权利要求16所述的处理系统，其中，所述一个或多个处理器被进一步配置成使所述处理系统：使用所述多维任务输出数据来处理所述三维位置估计以生成二维位置估...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。