用于获得三维人体模型的系统和方法技术方案

本公开涉及一种用于获得三维人体模型的系统和方法。人体模型恢复可以利用预先训练过的人工神经网络来实现。可以训练第一神经网络以基于人体图像来确定人体关键点。可以训练第二神经网络以基于身体关键点来预测与人体相关联的姿势参数。可以训练第三神经网络以基于人体深度图像来预测与人体相关联的体形参数。然后，可以基于分别由第二神经网络和第三神经网络预测的姿势和体形参数来生成3D人体模型。第二神经网络的训练可以使用合成生成的身体关键点来进行，并且第三神经网络的训练可以使用法线图来进行。由第二神经网络和第三神经网络预测的姿势和体形参数可通过迭代优化过程来进一步优化。来进一步优化。来进一步优化。

【技术实现步骤摘要】
用于获得三维人体模型的系统和方法


[0001]本申请涉及医学应用领域，具体涉及人体姿态相关的模型。

技术介绍

[0002]真实地反映个体患者的体形(shape)和姿势(pose)的患者身体的人体模型(诸如三维(3D)人体模型(例如，网格))可以用于各种医学应用中，包括患者定位、手术导航、统一的病历分析等。例如，关于放疗和医学成像，成功常常取决于将患者放置和维持在期望位姿使得可以以精确且准确的方式执行治疗或扫描的能力。具有与个体患者在这些情况下的身体特征(诸如患者的体形和姿势)有关的实时知识可带来益处，包括例如根据扫描或治疗方案更快且更准确地定位患者、获得更一致的结果等。在其他示例情况下，诸如在手术过程期间，关于个体患者体形的信息可以为治疗计划和执行两者提供洞察和指导。该信息比如可以用于围绕患者的治疗部位定位和导航。当实时可视地呈现时，该信息还可以允许在该过程期间监视患者的状态。
[0003]用于人体模型恢复(HMR)的现有的基于深度学习的技术需要带注释的3D训练数据，其很难(如果不是不可能的话)获得。由这些技术产生的结果也缺乏准确度，尤其是当目标人体的部分被覆盖、阻挡或以其他方式不可见时。因此，非常期望3D HMR系统和方法具有准确地恢复3D人体模型的能力，尽管没有3D注释并且即使目标人体不完全可见。

技术实现思路

[0004]本文描述了与基于人体一个或多个图像(例如，二维(2D)图像)恢复三维(3D)人体模型相关联的系统、方法和装置。该系统、方法和/或装置可利用一个或多个处理器，其可被配置为：使用第一神经网络至少基于人体第一图像(例如，彩色图像)来确定人体关键点，使用第二神经网络基于由第一神经网络确定的人体关键点来确定与人体姿势相关联的至少多个第一参数，以及至少基于多个第一参数来生成至少表示人体姿势的三维(3D)人体模型。第二神经网络可以通过训练过程来训练，该训练过程包括：向第二神经网络提供第一组身体关键点(例如，合成生成(synthetically generated)的身体关键点)，使第二神经网络基于第一组身体关键点来预测姿势参数，至少基于由第二神经网络预测的姿势参数来生成初步3D人体模型，从初步3D人体模型推断第二组身体关键点，以及基于第一组身体关键点与第二组身体关键点之间的差异来调节第二神经网络的执行参数。
[0005]在示例中，本文所述的系统、方法和/或装置还可以利用一个或多个处理器来使用第三神经网络至少基于人体第二图像(例如，深度图像)确定与人体体形相关联的多个第二参数。一个或多个处理器然后可以基于由第二神经网络确定的多个第一参数和由第三神经网络确定的多个第二参数来生成上述3D人体模型，其中，3D人体模型还可以表示人体体形。
[0006]在示例中，一个或多个处理器可以被配置为基于第二图像确定法线图并且基于法线图确定多个第二参数。第二神经网络和第三神经网络可通过训练过程来(例如，一起)训练，该训练过程包括：使第二神经网络基于与人体相关联的第一组身体关键点来预测与人
体相关联的姿势参数，使第三神经网络基于人体的深度图像(例如，基于可从深度图像导出的第一法线图(normal map))来预测与人体相关联的体形参数，以及基于由第二神经网络预测的姿势参数和由第三神经网络预测的体形参数来生成初步3D人体模型。训练过程还可以包括：至少基于初步3D人体模型来推断第二组身体关键点和第二法线图，基于第一组身体关键点与第二组身体关键点之间的差异来调节第二神经网络的执行参数，以及基于第一法线图与第二法线图之间的差异来调节第三神经网络的执行参数。
[0007]在示例中，本文所述的系统、方法和/或装置还可以利用一个或多个处理器来在基于多个第一参数和多个第二参数生成3D人体模型之后，通过以下方式来优化3D人体模型：至少从3D人体模型推断第二组身体关键点和第二法线图，基于第二组身体关键点与由第一神经网络确定的身体关键点之间的差异来调节多个第一参数，基于第二法线图与基于第二图像确定的法线图之间的差异来调节多个第二参数，以及基于调节后的多个第一参数和调节后的多个第二参数来调节3D人体模型。
[0008]在示例中，被配置为执行本文所述的任务的设备可以包括被配置为捕捉人体第一图像的第一感测装置和被配置为捕捉人体第二图像的第二感测装置。
附图说明
[0009]从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。
[0010]图1是例示了可以利用本文公开的方法和装置来生成3D人体模型的示例系统的图。
[0011]图2是例示了可以如何基于人体2D图像来恢复3D人体模型的图。
[0012]图3是例示了用于对3D人体模型进行渐进式改进的迭代过程的示例的图。
[0013]图4是例示了可以与训练身体关键点检测神经网络相关联的示例操作的图。
[0014]图5是例示了可以与训练姿势回归神经网络相关联的示例操作的图。
[0015]图6是例示了可以与训练体形回归神经网络相关联的示例操作的图。
[0016]图7是例示了可用于恢复3D人体模型的示例装置的图。
具体实施方式
[0017]在附图的各图中，通过示例而非限制性的方式例示了本公开。
[0018]图1示出了例示可以利用本文公开的方法和装置来生成诸如3D人体模型(例如，3D网格)的人体模型的示例系统100的图。
[0019]如图所示，系统100可以被配置为使用医学扫描仪102(例如，计算机断层摄影(CT)扫描仪、磁共振成像(MRI)机器、正电子发射断层摄影(PET)扫描仪、X光机等)来执行医学扫描或成像过程，但系统100也可以适于提供其他类型的健康护理服务，包括例如放疗、外科手术等。
[0020]系统100可以包括一个或多个感测装置104(例如，图像捕捉装置)，其被配置为捕捉患者106的图像(例如，2D图像)，例如，该患者在医学扫描仪102的前面，躺在扫描床或治疗床上等。感测装置104可以包括一个或多个传感器，其包括一个或多个摄像头(例如，数字彩色摄像头)、一个或多个红、绿和蓝(RGB)传感器、一个或多个深度传感器、一个或多个RGB加深度(RGB
‑
D)传感器、一个或多个热传感器，诸如红外(FIR)或近红外(NIR)传感器等。取
决于所使用的传感器的类型，由感测装置104捕捉的图像可以包括例如由摄像头拍摄的一张或多张照片(例如，患者106的一张或多张2D彩色照片)、由深度传感器生成的一张或多张深度图像等。在示例实施方式中，感测装置104可以安装或放置在系统100的各种不同位置，并且感测装置104可以具有朝向患者106的不同视点(例如，视场)。
[0021]一个或多个感测装置104可以包括相应处理器，其被配置为处理由本文所述的传感器捕捉的患者106的图像。另外地或替代地，系统100可以包括处理装置108，其通信地耦合到感测装置104，并且被配置为处理由感测装置104捕捉的患者106的图像。处理装置108可以例如经由通信网络1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于获得三维人体模型的设备，包括：一个或多个处理器，其被配置为：使用第一神经网络至少基于人体第一图像来确定所述人体关键点；使用第二神经网络基于由所述第一神经网络确定的所述人体关键点来确定与所述人体姿势相关联的至少多个第一参数；以及至少基于所述多个第一参数来生成至少表示所述人体所述姿势的3D人体模型。2.根据权利要求1所述的设备，其中，所述第二神经网络通过训练过程来训练，所述训练过程包括：向所述第二神经网络提供第一组身体关键点；使所述第二神经网络基于所述第一组身体关键点来预测姿势参数；至少基于由所述第二神经网络预测的所述姿势参数来生成初步3D人体模型；从所述初步3D人体模型推断第二组身体关键点；以及基于所述第一组身体关键点与所述第二组身体关键点之间的差异来调节所述第二神经网络的执行参数。3.根据权利要求2所述的设备，其中，所述第一组身体关键点是合成生成的。4.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为使用第三神经网络至少基于所述人体第二图像来确定与所述人体体形相关联的多个第二参数，其中，所述3D人体模型基于由所述第二神经网络确定的所述多个第一参数和由所述第三神经网络确定的所述多个第二参数来生成，并且其中，所述3D人体模型还表示所述人体所述体形。5.根据权利要求4所述的设备，其中，所述一个或多个处理器被配置为使用所述第三神经网络至少基于所述人体所述第二图像来确定与所述人体所述体形相关联的所述多个第二参数包括：所述一个或多个处理器被配置为基于所述第二图像来确定法线图并且基于所述法线图来确定所述多个第二参数。6.根据权利要求5所述的设备，其中，所述第二神经网络和所述第三神经网络通过训练过程来训练，所述训练过程包括：使所述第二神经网络基于与人体相关联的第一组身体关键点来预测与所述人体相关联...

【专利技术属性】
技术研发人员：郑梦，斯里克里希纳，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：