身体建模的系统和方法技术方案

可以基于人的一个或多个图像使用预先训练过的神经网络来获得人的三维(3D)模型。这种模型可能受到估计偏差和/或其他类型的缺陷或错误的影响。本文描述了用于改进3D模型和/或用于生成3D模型的神经网络的系统、方法和装置。所提出的技术可以从图像中提取诸如身体关键点位置和/或体形的信息并使用所提取的信息来细化3D模型和/或神经网络。在示例中，3D模型和/或神经网络可以通过最小化从图像提取的身体关键点位置和/或体形与从3D模型确定的对应身体关键点位置和/或体形之间的差异来细化。细化可以以迭代和交替的方式执行。细化可以以迭代和交替的方式执行。细化可以以迭代和交替的方式执行。

【技术实现步骤摘要】
身体建模的系统和方法


[0001]本申请涉及身体建模领域。

技术介绍

[0002]真实地反映患者的体形和姿势的患者身体的三维(3D)模型(例如，网格)可以用于各种医学应用中，包括患者定位、手术导航、统一的病历分析等。例如，关于放疗和医学成像，过程的成功常常取决于具有将患者放置和维持在期望位置使得可以以精确且准确的方式执行过程的能力。具有与个体患者在这些情况下的身体特征(诸如患者的体形和姿势)有关的实时知识可带来许多益处，包括例如根据扫描或治疗方案更快且更准确地定位患者、获得更一致的结果等。在其他示例情况下，诸如在手术过程期间，关于个体患者体形的信息可以为治疗计划和执行两者提供洞察和指导。该信息比如可以用于围绕患者的治疗部位定位和导航。当实时地视觉呈现时，该信息还可以提供用于在过程期间监测患者状态的手段。

技术实现思路

[0003]可以使用预先训练过的人工神经网络并基于患者的图像为患者构建3D人体模型。然而，这些人体模型可能无法准确地表示图像中描绘的患者身体的真实姿势和/或体形。本文描述了用于基于人的一个或多个图像(例如，二维(2D)图像)生成个体化(例如，个性化)人体模型的系统、方法和装置。系统、方法和/或装置可以利用一个或多个处理器，该一个或多个处理器可以被配置为获得人的3D模型，诸如人的蒙皮多人线性(SMPL)模型，其中，该3D模型可以基于人的一个或多个图像使用一个或多个神经网络来生成，并且其中，该一个或多个神经网络可以被预先训练(例如，使用基准训练数据集)以生成3D模型。本文所述的一个或多个处理器还可被配置为获得用于生成3D模型的人的一个或多个图像，并基于人的一个或多个图像来确定人的第一组身体关键点位置(例如，诸如关节位置的解剖关键点)或人的第一组体形参数中的至少一个。本文所述的一个或多个处理器然后可以基于人的第一组身体关键点位置或人的第一组体形参数中的至少一个来调节人的3D模型。例如，一个或多个处理器可以基于人的3D模型来确定人的第二组身体关键点位置或人的第二组体形参数中的至少一个，并且通过最小化第一组身体关键点位置与第二组身体关键点位置之间的差异或人的第一组体形参数与人的第二组体形参数之间的差异中的至少一个来调节人的3D模型。人的第一组身体关键点位置和人的第一组体形参数可以独立于人的第二组身体关键点位置或人的第二组体形参数来确定。
[0004]在示例中，人的第一组身体关键点位置与人的第二组身体关键点位置之间的差异可以包括第一欧几里得距离，并且人的第一组体形参数与人的第二组体形参数之间的差异可以包括第二欧几里得距离。在示例中，包括一个或多个处理器的系统或设备还可以包括被配置为捕捉本文所述的人的一个或多个图像的至少一个视觉传感器。视觉传感器可以包括例如颜色传感器、深度传感器或红外传感器。
[0005]在示例中，本文所述的一个或多个处理器还可被配置为基于人的第一组身体关键
点位置或人的第一组体形参数中的至少一个来调节(例如，细化)一个或多个神经网络的参数(例如，权重)。例如，一个或多个处理器可被配置为以迭代和/或交替的方式调节(例如，细化)一个或多个神经网络的参数和人的3D模型。在示例中，本文所述的一个或多个处理器还可被配置为向接收装置输出人的经调节的(例如，经细化的)3D模型的表示。
附图说明
[0006]从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。
[0007]图1是例示了其中可以应用本文公开的系统、方法和装置的示例环境的图。
[0008]图2是例示了用于基于图像恢复3D人体模型的神经网络的示例的简化框图。
[0009]图3A是例示了用于细化由预先训练过的神经网络和/或神经网络本身预测的3D人体模型的示例技术的图。
[0010]图3B是例示了联合优化3D人体模型和用于生成3D人体模型的神经网络的示例的图。
[0011]图3C是例示了可以使用本文所述的技术对3D人体模型作出的渐进式改进的图。
[0012]图4是例示了与基于图像来细化3D人体模型相关联的示例操作的简化流程图。
[0013]图5是例示了用于训练神经网络以执行本文所述的一个或多个任务的示例方法的简化流程图。
[0014]图6是例示了用于执行本文所述的一个或多个任务的示例系统或设备的简化框图。
具体实施方式
[0015]在附图的各图中，通过示例而非限制性的方式例示了本公开。
[0016]图1是例示了其中可以利用本文公开的方法和装置来调节所估计的3D人体模型的示例环境100的图。如图所示，环境100可以是被配置为提供使用医学扫描仪102(例如，计算机断层摄影(CT)扫描仪、磁共振成像(MRI)机器、正电子发射断层摄影(PET)扫描仪、X光机等)进行的医学扫描或成像过程的扫描室，但环境100也可以与包括例如放疗、外科手术等的其他类型的医学过程的执行相关联(例如，环境100可以是手术室、治疗室等)。
[0017]环境100可以包括至少一个感测装置104(例如，图像捕捉装置)，其被配置为捕捉患者106的图像(例如，2D或3D图像)，例如，该患者站在医学扫描仪102的前面，躺在扫描床或治疗床上等。感测装置104可以包括一个或多个传感器，其包括一个或多个摄像头(例如，数字摄像头、视觉传感器等)、一个或多个红、绿和蓝(RGB)传感器(或其他类型的视觉传感器等)、一个或多个深度传感器、一个或多个RGB加深度(RGB
‑
D)传感器、一个或多个热传感器，诸如红外(FIR)或近红外(NIR)传感器等。取决于所使用的传感器的类型，由感测装置104捕捉的图像可以包括例如患者106的一个或多个2D照片、患者106的一个或多个2D RGB图像等。在示例实施方式中，感测装置104可以安装或放置在环境100的各种不同位置处。
[0018]感测装置104可以包括一个或多个处理器，其被配置为处理由本文所述的传感器捕捉的患者106的图像。另外或替代地，由感测装置104捕捉的患者106的图像可由通信地耦合到感测装置104上且被配置为接收由感测装置104捕捉的患者106的图像的处理装置108处理。处理装置108可以例如经由通信网络110耦合到感测装置104(例如，耦合到在感测装
置104中包括的传感器)，该通信网络可以是有线或无线通信网络。由此可见，即使处理单元108在图1中被示出为与感测装置104和医学扫描仪102位于相同的环境100中，本领域技术人员也将理解，处理单元108也可以位于远离环境100的位置，例如，在单独的房间或不同的设施中。
[0019]响应于获得(例如，捕捉或接收)患者106的图像，感测装置104和/或处理装置108可以利用神经网络来分析图像(例如，在像素级)并且基于所获得的图像生成患者106的3D人体模型，其中，神经网络可以被预先训练以生成3D人体模型(例如，基于由神经网络通过训练过程学习的模型)。3D人体模型可包括参数模型，诸如可指示患者106的体形(例如，经由多个体形参数β)、姿势(例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于获得人体模型的设备，包括：一个或多个处理器，其被配置为：获得人的三维(3D)模型，其中，所述3D模型基于所述人的一个或多个图像使用一个或多个神经网络来生成，并且其中，所述一个或多个神经网络被预先训练以生成所述3D模型；获得所述人的所述一个或多个图像；基于所述人的所述一个或多个图像来确定所述人的第一组身体关键点位置或所述人的第一组体形参数；以及基于所述人的所述第一组身体关键点位置或所述人的所述第一组体形参数中的至少一个来调节所述人的所述3D模型。2.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：基于所述人的所述3D模型来确定所述人的第二组身体关键点位置或所述人的第二组体形参数中的至少一个；以及通过最小化所述人的所述第一组身体关键点位置与所述第二组身体关键点位置之间的差异或所述人的所述第一组体形参数与所述第二组体形参数之间的差异中的至少一个来调节所述人的所述3D模型。3.根据权利要求2所述的设备，其中，所述人的所述第一组身体关键点位置与所述第二组身体关键点位置之间的所述差异包括第一欧几里得距离，或所述人的所述第一组体形参数与所述第二组体形参数之间的所述差异包括第二欧几里得距离。4.根据权利要求2所述的设备，其中，所述人的所述第一组身体关键点位置和所述人的所述第一组体形参数独立于所述人的所述第二组身体关键点位置和所述人的所述第二组体形参数来确定。5.根据权利要求1所...

【专利技术属性】
技术研发人员：斯里克里希纳，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：