用于获得三维人体模型的系统和方法技术方案

本公开涉及一种用于获得三维人体模型的系统和方法。人体模型恢复可以利用预先训练过的人工神经网络来实现。可以训练第一神经网络以基于人体图像来确定人体关键点。可以训练第二神经网络以基于身体关键点来预测与人体相关联的姿势参数。可以训练第三神经网络以基于人体深度图像来预测与人体相关联的体形参数。然后，可以基于分别由第二神经网络和第三神经网络预测的姿势和体形参数来生成3D人体模型。第二神经网络的训练可以使用合成生成的身体关键点来进行，并且第三神经网络的训练可以使用法线图来进行。由第二神经网络和第三神经网络预测的姿势和体形参数可通过迭代优化过程来进一步优化。来进一步优化。来进一步优化。

【技术实现步骤摘要】
用于获得三维人体模型的系统和方法


[0001]本申请涉及医学应用领域，具体涉及人体姿态相关的模型。

技术介绍

[0002]真实地反映个体患者的体形(shape)和姿势(pose)的患者身体的人体模型(诸如三维(3D)人体模型(例如，网格))可以用于各种医学应用中，包括患者定位、手术导航、统一的病历分析等。例如，关于放疗和医学成像，成功常常取决于将患者放置和维持在期望位姿使得可以以精确且准确的方式执行治疗或扫描的能力。具有与个体患者在这些情况下的身体特征(诸如患者的体形和姿势)有关的实时知识可带来益处，包括例如根据扫描或治疗方案更快且更准确地定位患者、获得更一致的结果等。在其他示例情况下，诸如在手术过程期间，关于个体患者体形的信息可以为治疗计划和执行两者提供洞察和指导。该信息比如可以用于围绕患者的治疗部位定位和导航。当实时可视地呈现时，该信息还可以允许在该过程期间监视患者的状态。
[0003]用于人体模型恢复(HMR)的现有的基于深度学习的技术需要带注释的3D训练数据，其很难(如果不是不可能的话)获得。由这些技术产生的结果也缺乏准确度，尤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于获得三维人体模型的设备，包括：一个或多个处理器，其被配置为：使用第一神经网络至少基于人体第一图像来确定所述人体关键点；使用第二神经网络基于由所述第一神经网络确定的所述人体关键点来确定与所述人体姿势相关联的至少多个第一参数；以及至少基于所述多个第一参数来生成至少表示所述人体所述姿势的3D人体模型。2.根据权利要求1所述的设备，其中，所述第二神经网络通过训练过程来训练，所述训练过程包括：向所述第二神经网络提供第一组身体关键点；使所述第二神经网络基于所述第一组身体关键点来预测姿势参数；至少基于由所述第二神经网络预测的所述姿势参数来生成初步3D人体模型；从所述初步3D人体模型推断第二组身体关键点；以及基于所述第一组身体关键点与所述第二组身体关键点之间的差异来调节所述第二神经网络的执行参数。3.根据权利要求2所述的设备，其中，所述第一组身体关键点是合成生成的。4.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为使用第三神经网络至少基于所述人体第二图像来确定与所述人体体形相关联的多个第二参数，其中，所述3D人体模型基于由所述第二神经网络确定的所述多个第一参数和由所述第三神经网络确定的所述多个第二参数来生成，并且其中，所述3D人体模型还表示所述人体所述体形。5.根据权利要求4所述的设备，其中，所述一个或多个处理器被配置为使用所述第三神经网络至少基于所述人体所述第二图像来确定与所述人体所述体形相关联的所述多个第二参数包括：所述一个或多个处理器被配置为基于所述第二图像来确定法线图并且基于所述法线图来确定所述多个第二参数。6.根据权利要求5所述的设备，其中，所述第二神经网络和所述第三神经网络通过训练过程来训练，所述训练过程包括：使所述第二神经网络基于与人体相关联的第一组身体关键点来预测与所述人体相关联...

【专利技术属性】
技术研发人员：郑梦，斯里克里希纳，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：