用于构建三维(3D)人体模型的方法及设备技术

本文描述了用于基于患者的多个单视图模型来构建多视图患者模型(例如，3D人体网格模型)的系统、方法和装置。各个单视图模型可以基于由感测装置捕捉的图像来生成，并且取决于感测装置的视场，各个单视图模型可以以较高准确度描绘患者身体的一些身体关键点，并且以较低准确度描绘患者身体的其他身体关键点。多视图患者模型可使用单视图模型的对应于准确描绘的身体关键点的相应部分来构建。这样，即使患者身体的一些身体关键点被遮挡而不被特定感测装置观察到，也可经由多视图模型获得患者体形和姿势的全面且准确的描绘。形和姿势的全面且准确的描绘。形和姿势的全面且准确的描绘。

【技术实现步骤摘要】
用于构建三维(3D)人体模型的方法及设备


[0001]本申请涉及3D建模领域。

技术介绍

[0002]真实地反映患者的体形和姿势的三维(3D)患者模型可以用于各种医学 应用中，包括患者定位、治疗计划、手术导航等。例如，在放疗和医学成像 中，成功常常取决于将患者放置和维持在期望位姿使得可以以更好的准确度 和更快的速度执行过程的能力。因此，具有关于患者在这些情况下的身体特 征的知识(例如，视觉知识)对于获得患者的最佳结果是至关重要的。常规 的人体网格恢复(HMR)系统和方法利用患者的单个图像，并且期望患者的 身体在这些图像中将是可见的(例如，未被遮挡)。然而，实际上，患者的 身体可能至少部分地被医疗设备和/或衣物(例如，病号服、覆盖片等)遮盖， 因此基于单个视图的HMR系统和方法可能不能产生令人满意的结果。因此， 非常期望即使患者身体的一个或多个部分被阻挡也能够准确地估计患者身 体信息的新的和/或改进的患者建模和网格构建技术。

技术实现思路

[0003]本文描述了与基于患者的多个单视图模型来构建多视图患者模型(例如， 3D人体网格模型)相关联的系统、方法和装置。如本文所述的设备可以包 括一个或多个处理器，其被配置为获得与人体的第一3D模型(例如，第一 单视图模型)相关联的第一信息，并且获得与人体的第二3D模型(例如， 第二单视图模型)相关联的第二信息。第一3D模型可基于由第一感测装置 (例如，第一摄像头)捕捉的人体的至少第一图像来确定。第二3D模型可 基于由第二感测装置(例如，第二摄像头)捕捉的人体的至少第二图像来确 定。第一信息可指示第一3D模型覆盖(例如，以高准确度描绘)人体的至 少第一身体关键点(例如，诸如左肩的第一部分)，并且第二信息可指示第 二3D模型覆盖人体的至少第二身体关键点(例如，诸如右肩的第二部分)。 设备的一个或多个处理器还可被配置为：确定第一3D模型的与第一身体关 键点相关联的第一区域(例如，第一立方体)和第二3D模型的与第二身体 关键点相关联的第二区域(例如，第二立方体)，并且至少基于第一3D模型 的第一区域和第二3D模型的第二区域生成人体的第三3D模型(例如，多 视图3D模型)。
[0004]在示例中，一个或多个处理器可以被配置为：基于第一3D模型确定与 第一3D模型的第一区域相关联的第一组顶点，并且基于第二3D模型确定 与第二3D模型的第二区域相关联的第二组顶点，其中，人体的第三3D模 型至少基于第一组顶点和第二组顶点来生成。在示例中，一个或多个处理器 还可被配置为：确定第一组顶点和第二组顶点在与第三3D模型相关联的坐 标系中的相应位置，并且至少基于第一组顶点和第二组顶点在与第三3D模 型相关联的坐标系中的相应位置来生成第三3D模型。第一组顶点和第二组 顶点在坐标系中的相应位置可例如基于第一感测装置和第二感测装置在坐 标系中的相应位置来确定。
[0005]在示例中，一个或多个处理器还可被配置为：基于第一信息和第二信息 来确定第
一3D模型和第二3D模型两者覆盖人体的第二身体关键点，并且 基于与第一3D模型或第二3D模型中的至少一个相关联的关于第二身体关 键点的置信度指示来确定第二3D模型将用于获得与第二身体关键点相关联 的信息。置信度指示可例如基于第一感测装置相对于第二身体关键点的位置 和第二感测装置相对于第二身体关键点的位置来确定。
[0006]在示例中，本文所述的第一3D模型和第二3D模型可以分别由第一感 测装置和第二感测装置来构建，并且设备可以被配置为从第一感测装置接收 第一3D模型并且从第二感测装置接收第二3D模型。在示例中，设备可包 括第一感测装置或第二装置，并且可被配置为除了构建第三3D模型之外还 构建第一3D模型或第二3D模型。
附图说明
[0007]从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开 的示例。
[0008]图1是例示了与本文所述的一个或多个实施例相关联的示例环境的简化 框图。
[0009]图2是例示了基于多个单视图模型生成多视图人体模型的示例的简化框 图。
[0010]图3是例示了基于多个单视图人体模型构建多视图人体模型的简化图。
[0011]图4是例示了可与多视图人体模型的构建相关联的操作的流程图。
[0012]图5是例示了可以被配置为执行本文所述的单视图和/或多视图模型构 建操作的示例设备的框图。
具体实施方式
[0013]在附图的各图中，通过示例而非限制性的方式例示了本公开。
[0014]图1是例示了与本文所述的一个或多个实施例相关联的示例环境100的 图。环境100可以是诸如扫描室(例如，磁共振成像(MRI)、X光、计算 机断层摄影(CT)等)或手术室(OR)、康复机构、健身中心等的医疗机构 的一部分。环境100可以配备有一个或多个感测装置(例如，102a、102b、 102c)，诸如一个或多个数字摄像头，其被配置为捕捉环境100内部的患者 104的图像(例如，二维(2D)图像)。感测装置102a
‑
c可以经由通信网络 108通信地耦合到处理单元106和/或环境100的其他装置。各个感测装置 102a
‑
c可以包括一个或多个传感器，诸如一个或多个2D视觉传感器(例如， 2D摄像头)、一个或多个3D视觉传感器(例如，3D摄像头)、一个或多个 红、绿和蓝(RGB)传感器、一个或多个深度传感器、一个或多个RGB加 深度(RGB
‑
D)传感器、一个或多个热传感器(例如，红外(FIR)或近红 外(NIR)传感器)、一个或多个雷达传感器和/或其他类型的图像捕捉装置 或电路。
[0015]当在环境100内部时，患者104的身体可能被其他设备或物品(例如， X光机的C形臂、覆盖片等)遮挡(例如，部分遮挡)而不能进入感测装置 的视场(FOV)。例如，取决于感测装置102a
‑
c的安装位置、患者104的位 姿和/或姿势、和/或环境100中的其他设备或物品的位置，第一感测装置(例 如，102a)的FOV可以包括患者身体的第一组区域或区(例如，左肩、左 臂等)，并且第二感测装置(例如，102b)的FOV可以包括患者身体的第二 组区域或区(例如，右肩、右臂等)。因此，第一组区域或区在由第一感测 装置捕捉的图像中可见，但在由第二感测装置捕捉的图像中不可见。同样， 第二组区域或区在由第二感测装置捕捉的图像中可见，但在由第一感测装置 捕捉的图像中不可见。
[0016]感测装置102a
‑
c中的每一个可包括功能单元(例如，处理器)，其被配 置为处理由
感测装置捕捉的图像并基于图像生成(例如，构建)诸如患者的 3D人体网格模型的人体模型。这种人体模型在本文中可以被称为单视图模 型(例如，因为该模型可以基于一个感测装置的视场)，并且可以包括指示 在医疗过程(例如，MRI、X射线或CT过程)期间患者的身体体形和/或姿 势的多个参数。例如，人体模型的参数可以用于确定与患者身体相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于构建三维(3D)人体模型的方法，所述方法包括：获得与人体的第一3D模型相关联的第一信息，其中，所述第一3D模型基于由第一感测装置捕捉的所述人体的至少第一图像来确定，并且其中，所述第一信息指示所述第一3D模型覆盖所述人体的至少第一身体关键点；获得与所述人体的第二3D模型相关联的第二信息，其中，所述第二3D模型基于由第二感测装置捕捉的所述人体的至少第二图像来确定，并且其中，所述第二信息指示所述第二3D模型覆盖所述人体的至少第二身体关键点；确定所述第一3D模型的与所述第一身体关键点相关联的第一区域和所述第二3D模型的与所述第二身体关键点相关联的第二区域；以及至少基于所述第一3D模型的所述第一区域和所述第二3D模型的所述第二区域来生成所述人体的第三3D模型。2.根据权利要求1所述的方法，还包括：基于所述第一3D模型确定与所述第一3D模型的所述第一区域相关联的第一组顶点，并且基于所述第二3D模型确定与所述第二3D模型的所述第二区域相关联的第二组顶点，其中，所述人体的所述第三3D模型至少基于所述第一组顶点和所述第二组顶点来生成。3.根据权利要求2所述的方法，还包括：确定所述第一组顶点在与所述第三3D模型相关联的坐标系中的相应位置；以及确定所述第二组顶点在与所述第三3D模型相关联的所述坐标系中的相应位置；其中，所述人体的所述第三3D模型至少基于所述第一组顶点在所述坐标系中的所述相应位置和所述第二组顶点在所述坐标系中的所述相应位置来生成。4.根据权利要求3所述的方法，其中，所述第一组顶点在所述坐标系中的所述相应位置至少基于所述第一感测装...

【专利技术属性】
技术研发人员：斯里克里希纳，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：