用于记录医疗环境的系统和方法技术方案

本文描述了与基于医疗环境的图像生成医疗环境的多维表示相关联的系统、方法和装置。可以执行各种预处理和/或后处理操作来补充和/或改进多维表示。这些操作可以包括基于图像确定与医疗环境相关联的语义信息，并且除了空间和时间信息之外还将语义信息添加到多维表示。操作还可以包括：使在多维表示中呈现的人匿名化，将合成视图添加到多维表示，提高多维表示的质量等。使用这些技术生成的医疗环境的多维表示可以允许用户例如经由虚拟现实装置来体验和探查医疗环境。置来体验和探查医疗环境。置来体验和探查医疗环境。

【技术实现步骤摘要】
用于记录医疗环境的系统和方法


[0001]本申请涉及医疗环境再现领域。

技术介绍

[0002]实践诸如外科手术的医疗过程需要广泛的知识和第一手经验。为了获得这样的知识或经验，医学专家(例如，包括医学生)可以在动物或尸体上训练，使用模拟引擎，观看视频记录，并且近年来开始使用虚拟现实(VR)或增强现实作为医学教育工具。VR/AR可以具有创建现实环境的潜力，在现实环境中，用户可以体验由本领域专家执行的实际医疗过程。然而，当前基于VR/AR的医学教育工具主要基于实际过程的模拟(例如，使用游戏引擎来创建交互式手术环境)或部分记录(例如，自我为中心的3D视频记录)，并且不能提供密集的、沉浸式的、非自我为中心的内容或模型来复制实际过程。因此，可能期望能够生成医疗过程或医疗环境的真实的AR/VR实现的表示的系统、方法和装置。

技术实现思路

[0003]本文描述了与基于由一个或多个感测装置(例如，数字摄像头)捕捉的医疗环境的图像来生成医疗环境的多维表示(例如，医疗环境的立体再现)相关联的系统、方法和装置。一种被配置为执行这种任务的设备可以包括一个或多个处理器，其被配置为获得医疗环境的第一组图像和医疗环境的第二组图像，其中，第一组图像可以与第一视点相关联，并且第二组图像可以与第二视点相关联。一个或多个处理器还可以被配置为基于第一组图像或第二组图像来确定与医疗环境相关联的第一语义信息，并且基于至少第一组图像、第二组图像和第一语义信息来生成医疗环境的多维表示。这种多维表示可以包括在一个时间段内的医疗环境的多个视图，其中，多个视图的第一子集可以与第一视点相关联，多个视图的第二子集可以与第二视点相关联，并且医疗环境的多个视图中的至少一个可以包括第一语义信息的呈现。一旦生成，医疗环境的多维表示就可以被提供给接收装置，例如，使得用户可以使用虚拟现实(VR)头戴式视图器来体验和/或探查医疗环境。
[0004]在示例中，本文所述的设备的一个或多个处理器可以被配置为使用机器学习(ML)模型来确定第一语义信息，该ML模型被训练为基于第一组图像或第二组图像来确定对象或人在医疗环境中的位置或运动，并且第一语义信息可以指示对象或人在医疗环境中的位置或运动。在示例中，一个或多个处理器还可以被配置为基于对象或人在医疗环境中的位置或运动来确定在医疗环境中执行的医疗过程的阶段，并且其中，第一语义信息还可以指示医疗过程的阶段。在示例中，在基于至少第一组图像、第二组图像和第一语义信息生成医疗环境的多维表示之前，本文所述的设备的一个或多个处理器还可以被配置为编辑在第一组图像或第二组图像中检测到的人的一个或多个识别特征，诸如人的身份和/或肖像可以被隐藏在医疗环境的多维表示中。
[0005]在示例中，在将医疗环境的多维表示提供给接收装置之前，本文所述的设备的一个或多个处理器还可以被配置为基于机器学习模型生成医疗环境的合成视图，并且将医疗
环境的合成视图添加到多维表示。这种合成视图可以描绘医疗环境中在第一组图像或第二组图像中未示出的场景，并且合成视图可以与在与第一组图像和第二组图像相关联的相应时间段之外的时间点相关联。
[0006]在示例中，在将医疗环境的多维表示提供给接收装置之前，本文所述的设备的一个或多个处理器还可以被配置为基于机器学习模型(例如，被训练用于超分辨率的机器学习模型)来增加医疗环境的多个视图中的至少一个的分辨率。一个或多个处理器还可以被配置为基于机器学习模型填充医疗环境的多个视图中的至少一个的区域，或者确定与医疗环境相关联的第二语义信息并且将第二语义信息添加到多维表示。在示例中，第二语义信息可以包括患者的医疗记录，并且一个或多个处理器可以被配置为基于机器学习模型基于第一组图像或第二组图像来确定患者的身份，并且基于患者的身份来检索医疗记录。
附图说明
[0007]从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。
[0008]图1是例示了本公开的一个或多个实施例的示例用例的简化图。
[0009]图2是例示了根据本公开的一个或多个实施例的可以与生成医疗环境的多维表示(MDR)相关联的示例操作的简化图。
[0010]图3A和图3B是例示了根据本公开的一个或多个实施例的可以用于预处理医疗环境的图像的机器学习(ML)模型的示例的简化图。
[0011]图4A和图4B是例示了根据本公开的一个或多个实施例的可用于后处理医疗环境的多维表示的ML模型的示例的简化图。
[0012]图5是例示了可与训练神经网络(例如，由神经网络实施的ML模型)以便执行本公开的一个或多个实施例中描述的任务相关联的示例操作的流程图。
[0013]图6是例示了可以被配置为执行本公开的一个或多个实施例中描述的任务的设备的示例部件的框图。
具体实施方式
[0014]在附图的各图中，通过示例而非限制性的方式例示了本公开。
[0015]图1例示了本文公开的技术的示例用例。用例可以涉及医疗环境(例如，图中的100)，其可以是诸如扫描室(例如，用于磁共振成像(MRI)、X射线、计算机断层摄影(CT)等)或手术室(OR)的医疗设施的一部分。医疗环境100可以配备有一个或多个感测装置102a
‑
102c，其可以安装在医疗环境的不同位置并且被配置为捕捉在医疗环境100中执行的医疗过程(例如，外科手术)的图像或视频。图像(例如，二维(2D)图像)或视频可以提供医疗环境(例如，包括在其中执行的医疗过程)在一个时间段内和/或从不同视点的不同视图。在示例中，感测装置102a
‑
c可以包括一个或多个传感器，诸如一个或多个2D视觉传感器(例如，2D摄像头)、一个或多个三维(3D)视觉传感器(例如，3D摄像头)、一个或多个红、绿和蓝(RGB)传感器、一个或多个深度传感器、一个或多个RGB加深度(RGB
‑
D)传感器、一个或多个热传感器(例如，红外(FIR)或近红外(NIR)传感器)、一个或多个雷达传感器和/或其他类型的图像捕捉装置或电路。在示例中，感测装置102a
‑
102c可以通信地耦合(例如，经由通信网络106)到处理装置108(例如，计算机)和/或医疗环境100中的其他装置，并且可以被配置为将感测
装置所捕捉的图像发送到处理装置和/或其他装置。在示例中，感测装置102a
‑
102c中的一个或多个本身可以包括被配置为处理由感测装置捕捉的图像的处理或功能单元(例如，处理器)。
[0016]处理装置108(或各个感测装置102a
‑
102c的处理或功能单元)可以被配置为从感测装置102a
‑
102c(例如，作为相应的第一图像源、第二图像源和第三图像源)获得(例如，检索或以其他方式接收)图像数据，处理图像数据，并且基于图像数据生成医疗环境(或其中执行的医疗过程)的多维表示。如下面将更详细描述的，处理可以包括预处理图像数据，基于预处理的图像数据对医疗环境(或其中执行的医疗过程)建模以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于记录医疗环境的方法，所述方法包括：获得所述医疗环境的第一组图像和所述医疗环境的第二组图像，其中，所述第一组图像与第一视点相关联，并且所述第二组图像与第二视点相关联；基于所述第一组图像或所述第二组图像来确定与所述医疗环境相关联的第一语义信息；基于至少所述第一组图像、所述第二组图像和所述第一语义信息来生成所述医疗环境的多维表示，其中，所述多维表示包括在一个时间段内的所述医疗环境的多个视图，所述多个视图的第一子集与所述第一视点相关联，所述多个视图的第二子集与所述第二视点相关联，并且所述医疗环境的所述多个视图中的至少一个包括所述第一语义信息的呈现；以及将所述医疗环境的所述多维表示提供给接收装置。2.根据权利要求1所述的方法，其中，所述第一语义信息基于机器学习模型来确定，所述机器学习模型被训练为基于所述第一组图像或所述第二组图像来确定对象或人在所述医疗环境中的位置或运动，并且其中，所述第一语义信息指示所述对象或人在所述医疗环境中的所述位置或运动。3.根据权利要求2所述的方法，还包括：基于所述对象或人在所述医疗环境中的所述位置或运动来确定在所述医疗环境中执行的医疗过程的阶段，其中，所述第一语义信息还指示所述医疗过程的所述阶段。4.根据权利要求1所述的方法，还包括：在基于至少所述第一组图像、所述第二组图像和所述第一语义信息生成所述医疗环境的所述多维表示之前，编辑在所述第一组图像或所述第二组图像中检测到的人的一个或多个识别特征以隐藏所述人的身份。5.根据权利要求1所述的方法，还包括：在...

【专利技术属性】
技术研发人员：本杰明，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：