用于控制显示器的方法、计算机程序和混合现实显示设备技术

一种用于控制混合现实显示设备的显示器的方法，其中，从治疗对象的图像数据和医学成像数据生成表示治疗对象的表面的源点云和目标点云。通过应用语义分割在点云中确定多个分割掩码。使用分割掩码来确定源点云和目标点云之间的变换，并且使用所确定的变换将医学成像数据的至少一部分叠加在治疗对象上。数据的至少一部分叠加在治疗对象上。数据的至少一部分叠加在治疗对象上。

【技术实现步骤摘要】
【国外来华专利技术】用于控制显示器的方法、计算机程序和混合现实显示设备
[0001]本专利技术涉及用于控制混合现实设备的显示器的方法。
[0002]此外，本专利技术涉及具有适于执行这种方法的程序代码方法的计算机程序。
[0003]另外，本专利技术涉及具有这种计算机程序的混合现实显示设备。
[0004]一般而言，本专利技术涉及结合现实环境的虚拟信息的可视化领域。在显示设备的显示器上，虚拟信息被叠加在现实对象上。该领域通常被称为“混合现实”。
[0005]“虚拟连续体”从纯现实环境延伸至纯虚拟环境，包括在这些极值之间的增强现实和增强虚拟。术语“混合现实”通常被定义为“虚拟连续体的极值之间的任何地方”，即混合现实一般包括除纯现实和纯虚拟外的完全虚拟连续体。在本申请的上下文中，术语“混合现实”可以具体指“增强现实”。
[0006]混合现实技术对于例如用于医学手术或者其他医学治疗的医学应用尤其有前景。例如，可以通过混合现实显示设备将可视化人体或者动物体的解剖和/或生理过程的医学成像数据(CT图像、MRI图像等)叠加在身体的现实世界视图上。以这种方式，例如，外科医生可以在手术期间通过将这种医学成像数据虚拟地直接放置在治疗对象上，即放置在患者身体或者患者身体的一部分上来获得支持。
[0007]混合现实中最重要的挑战之一是配准问题，即将现实世界中的对象与虚拟世界中的对象相对于彼此适当地对准的问题。在没有精确配准的情况下，两个世界共存的错觉将受到损害。更严重的是，在医学应用中，不精确的配准可能导致影响医疗成功以及甚至影响患者健康的风险。因此，可视化的虚拟信息，例如医学成像数据在位置、大小和视角上与现实世界即治疗对象精确匹配是至关重要的。
[0008]从EP 2 874 556 B1中，已知基于增强现实的方法和相应的系统，其使得能够在手术和其他介入治疗中实现器械引导。为此，获得在介入治疗中使用的介入路径，其中，基于患者内部的3D图像数据来规划介入路径，并且在介入治疗期间获得患者外部的相机图像。在相机图像和3D图像数据之间建立空间对应，并且计算与相机图像对应的介入路径的视图。最后，将介入路径的视图与相机图像组合以获得显示在显示器上的合成图像。
[0009]本专利技术的目的是提供用于在医学应用中可视化虚拟信息的改进技术，该技术使得能够改进虚拟对象和现实对象的对准。
[0010]本专利技术的目的通过具有权利要求1特征的用于控制混合现实显示设备的显示器的方法来实现。
[0011]根据本专利技术，该方法至少包括以下步骤：
[0012]a)提供包括治疗对象的多个图像的图像数据集，其中，治疗对象是患者身体或者患者身体的一部分，并且图像从不同视角描绘治疗对象，
[0013]b)从图像数据集生成3D目标点云，其中，目标点云包括在三维坐标系中定义的多个点，并且这些点表示治疗对象的表面，
[0014]c)通过应用语义分割来确定目标点云中的多个语义分割掩码，
[0015]d)提供包括治疗对象的医学成像数据的医学成像数据集，
[0016]e)从医学成像数据集生成3D源点云，其中，源点云包括在三维坐标系中定义的多
个点，并且这些点也表示治疗对象的表面，
[0017]f)通过应用语义分割来确定源点云中的多个语义分割掩码，
[0018]g)使用源点云的分割掩码和目标点云的分割掩码确定源点云与目标点云之间的变换，以及
[0019]h)在显示器上可视化医学成像数据中的至少一部分，其中，使用源点云与目标点云之间的变换将医学成像数据叠加在治疗对象上并且与治疗对象对准。
[0020]该方法的步骤不必以指定的顺序执行，因此不限制本专利技术，即字母的字母顺序不意味着步骤a)至步骤h)的特定顺序。例如，当然可以在步骤d)到步骤f)之后执行步骤a)到步骤c)，或者可以并行执行该方法的某些步骤。
[0021]本专利技术提出了用于控制混合现实设备的显示器以将医学成像数据叠加在治疗对象上的方法。本专利技术因此提出了用于控制混合现实设备的显示器以将医学成像数据在治疗对象上可视化的方法。
[0022]在本申请的上下文中，术语“治疗对象”是指患者身体或者患者身体的一部分。患者可以是人或者动物，即治疗对象可以是人体或者动物体或者人体或动物体的一部分。
[0023]术语“混合现实显示设备”和“混合现实设备”可以互换使用。术语“计算机”以其最广泛的意义使用，即它是指可以被指示执行算术和/或逻辑运算序列的任何处理设备。
[0024]术语“2D”是指二维坐标。术语“3D”是指三维坐标。术语“4D”是指四维坐标。
[0025]除了显示器之外，混合现实设备可以包括计算机和存储器。混合现实设备还可以包括多个计算机。此外，混合现实设备可以包括相机，特别是3D相机系统，和/或多个传感器，特别是至少一个深度传感器，例如飞行时间深度传感器。混合现实显示设备还可以包括定位系统和/或惯性测量单元。
[0026]在步骤a)中，提供包括治疗对象的多个图像的图像数据集，其中，图像从不同的视角描绘治疗对象。这些图像表示治疗对象的现实世界视图。它们可以例如通过相机和/或深度传感器，特别是通过混合现实设备的相机和/或深度传感器来生成。
[0027]在步骤d)中，提供包括治疗对象的医学成像数据的医学成像数据集。该医学成像数据表示要在显示器上可视化的虚拟信息。医学成像数据可以包括例如治疗对象的截面图像。例如，可以使用诸如磁共振成像(MRI)的医学成像方法来生成医学成像数据。医学成像数据可以在医学治疗之前和/或期间生成，例如手术前和/或手术中生成。
[0028]在步骤b)和步骤e)中，生成表示治疗对象的三维点云。为此，可以使用3D重建的方法。
[0029]在步骤c)和步骤f)中，应用语义分割来分别确定目标点云中的多个分割掩码和源点云中的多个分割掩码。语义分割(也称为语义图像分割)可以被定义为将属于相同对象类的图像部分聚类在一起的任务。在本申请的上下文中，对象类可以是例如治疗对象的解剖结构的特定部分。例如，如果治疗对象是人的头部，则简单的对象类可以包括鼻子、耳朵、嘴、眼睛、眉毛等。术语“语义分割掩码”是指使用语义分割已经被确定为属于同一对象类的图像的一部分(或片段)。语义分割可以在2D数据中执行，即基于像素执行，或者在3D数据中执行，即基于体素执行。
[0030]在步骤g)中，使用源点云的分割掩码和目标点云的分割掩码来确定源点云和目标点云之间的变换。在该步骤中，变换可以被确定成：当变换被应用于点云之一时，使两个点
云的点彼此对准。变换可以包括平移和/或旋转。例如，变换可以具有变换矩阵的形式，特别是4
×
4变换矩阵的形式。所确定的变换可以特别是近似地将源点云变换成目标点云，也可以将目标点云近似地变换成源点云。
[0031]除了分割掩码之外，其他参数也可以用作确定点云之间变换的输入。特别地，可以使用源点云的分割掩码和目标点云的分割掩码以及源点云的点的坐标和目标点云的点的坐标来确定源点云和目标点云之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制混合现实显示设备(1)的显示器的方法，所述方法至少包括以下步骤：a)提供包括治疗对象(15)的多个图像的图像数据集，其中，所述治疗对象(15)是患者身体或者所述患者身体的一部分，并且所述图像从不同视角描绘所述治疗对象(15)，b)从所述图像数据集生成3D目标点云(23)，其中，所述目标点云(23)包括在三维坐标系中定义的多个点，并且所述点表示所述治疗对象的表面，c)通过应用语义分割来确定所述目标点云(23)中的多个语义分割掩码(25a、25b、25c)，d)提供包括所述治疗对象(15)的医学成像数据的医学成像数据集，e)从所述医学成像数据集生成3D源点云(27)，其中，所述源点云(27)包括在三维坐标系中定义的多个点，并且所述点也表示所述治疗对象的表面，f)通过应用语义分割来确定所述源点云(27)中的多个语义分割掩码(29a、29b、29c)，g)使用所述源点云(27)的分割掩码(29a、29b、29c)和所述目标点云(23)的分割掩码(25a、25b、25c)确定所述源点云(27)与所述目标点云(23)之间的变换，以及h)在所述显示器(3)上可视化所述医学成像数据中的至少一部分，其中，使用所述源点云(27)与所述目标点云(23)之间的变换将所述医学成像数据叠加在所述治疗对象(15)上并且与所述治疗对象(15)对准。2.根据权利要求1所述的方法，其特征在于，所述显示器(3)被设计为光学透视显示器(3)，特别是光学透视头戴式显示器(3)，以及/或者所述混合现实显示设备(1)包括头戴式混合现实显示设备(1)和/或混合现实智能眼镜(5)或者由所述头戴式混合现实显示设备(1)和/或所述混合现实智能眼镜(5)组成。3.根据权利要求1或2所述的方法，其特征在于，所述医学成像数据使用以下医学成像方法中的至少一种来生成：磁共振成像(MRI)、计算机断层扫描(CT)、放射线照相、超声检查、内窥镜检查和/或核医学成像。4.根据前述权利要求中任一项所述的方法，其特征在于，使用为语义分割配置的卷积神经网络来确定所述目标点云(23)中的语义分割掩码(25a、25b、25c)和/或所述源点云(27)中的语义分割掩码(29a、29b、29c)。5.根据前述权利要求中任一项所述的方法，其特征在于，步骤c)包括以下步骤：
‑
通过对所述图像数据集的图像应用语义分割，特别是使用为语义分割配置的卷积神经网络，来确定所述图像数据集的图像中的多个语义分割掩码，以及
‑
使用所述图像数据集的图像中的语义分割掩码确定所述目标点云(23)中的语义分割掩码(25a、25b、25c)。6.根据前述权利要求中任一项所述的方法，其特征在于，所述图像数据集包括所述治疗对象(15)的多个视觉图像和/或深度图像，并且特别地使用摄影测量方法和/或深度融合方法从所述视觉图像和/或所述深度图像生成所述3D目标点云(23)。7.根据权利要求6所述的方法，其特征在于，步骤c)包括以下步骤：
‑
通过将语义分割应用于所述图像数据集的视觉图像和/或深度图像，特别是使用为语义分割配置的卷积神经网络，来确定所述图像数据集的视觉图像和/或深度图像中的多个语义分割掩码，以及
‑
使用所述图像数据集的视觉图像和/或深度图像中的语义分割掩码来确定所述目标
点云(23)中的语义分割掩码(25a、25b、25c)。8.根据前述权利要求中任一项所述的方法，其特征在于，所述图像数据集包括所述治疗对象(15)的多个视觉图像和深度图像，并且步骤b)包括以下步骤：
‑
从所述图像数据集的视觉图像生成第一3D点云，
‑
从所述图像数据集的深度图像生成第二3D点云，以及
‑
使用所述第一3D点云和所述第二3D点云，特别是通...

【专利技术属性】
技术研发人员：西尔科，
申请(专利权)人：阿珀科勒有限责任公司，
类型：发明
国别省市：