用于在至少一个界面中可视化对象的至少一个区的方法技术

本发明专利技术涉及由计算机构件实施以在至少一个界面中可视化对象的至少一个区的方法，所述方法包括以下步骤：获得所述区的至少一个图像，所述图像包括至少一个通道，所述图像是包括像素或体素的2维或3维图像，值与所述图像的每个像素或体素的每个通道相关联，所述图像的表示显示在所述界面中；从用户获得至少一个注释，所述注释定义所述图像的一组选定像素或体素；基于所述选定像素或体素计算传递函数并且将所述传递函数应用于所述图像的每个通道的值；更新所述界面中的图像的表示，其中所述表示的像素或体素的颜色和透明度取决于所述传递函数。递函数。递函数。

【技术实现步骤摘要】
【国外来华专利技术】用于在至少一个界面中可视化对象的至少一个区的方法
[0001]本专利技术涉及一种用于可视化对象的至少一个区的方法，更具体来说，用于在至少一个界面中可视化患者的至少一个区的方法。
[0002]医学利用医学成像技术生成患者身体内部的图像以用于临床分析和医学干预，以及一些器官或组织的视觉表示。医学成像旨在揭示例如隐藏在皮肤和骨骼中的身体内部结构，以诊断和治疗疾病或准备任何手术。
[0003]例如通过计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)或超声波生成的医学图像可以是2维(2D)或3维(3D)图像。3D图像可以从2D图像的堆栈中计算或直接获得。
[0004]每个图像包括像素(用于2D图像)或体素(用于3D图像)，值与所述图像的每个像素或体素的每个通道相关联。在例如单色图像的情况下，图像可以仅包括一个通道。相反，在彩色图像的情况下，图像可以包括多个通道，例如每个原色(红、绿、蓝)一个通道。通过扩展或类比，术语体素和像素可以用于2D或3D图像中的任何图像。
[0005]2D医学图像通常是允许放射科医生进行诊断、测量感兴趣的结构和评估治疗策略的基于切片的表示。然而，外科医生受益于在自然3D观看环境中，例如由虚拟和增强现实沉浸式可视化技术提供的环境中将患者详细地按比例表示为“化身”或“数字双胞胎”。
[0006]3D医学图像的体渲染通常用于多种医疗保健环境，但渲染图像的质量以及感兴趣的解剖结构之间的对比度很大程度上取决于应用于图像的传递函数的类型。
[0007]应用于图像的传递函数旨在通过修改所述表示的像素或体素的颜色(即发射特性)和透明度(也称为不透明度，即吸收特性)来修改所述图像的表示或渲染。
[0008]传统软件允许用户应用预定义的传递函数，所述传递函数将光学特性归因于像素或体素。此类预定义的传递函数并不总是适合于对应分析。
[0009]软件有时允许手动地调整传递函数的一些超参数。然而，所述传递函数的手动设计可能是一项冗长且耗时的任务，并且不一定导致针对相关情况的传递函数的最佳优化。
[0010]还需要使用不同界面来促进医学专家之间的通信。具体来说，训练放射科医生使用2D查看界面，而外科医生使用准确地模拟手术室中的患者的3D界面。这种互动可以受益于促进疾病诊断或手术准备的专业知识。
[0011]为了这些目的，本专利技术提出一种由计算机构件实施以在至少一个界面中可视化对象的至少一个区的方法，所述方法包括以下步骤：
[0012]‑
获得所述区的至少一个图像，所述图像包括至少一个通道，所述图像是包括像素或体素的2维或3维图像，值与所述图像的每个像素或体素的每个通道相关联，所述图像的表示显示在界面中，
[0013]‑
从用户获得至少一个注释，所述注释定义所述图像的一组选定像素或体素，
[0014]‑
基于所述选定像素或体素计算传递函数并且将所述传递函数应用于图像的每个通道的值，
[0015]‑
更新界面中的图像的表示，其中所述表示的像素或体素的颜色和透明度取决于传递函数。
[0016]本专利技术适用于医学图像以及其它类型的图像。本专利技术不限于可视化患者身体的至少一个区。
[0017]与现有技术相反，在本专利技术的情况下，传递函数不是仅通过手动地微调所述传递函数的超参数来预定义或修改的。实际上，在本专利技术中，图像的注释用于调整传递函数，因此调整图像的所得表示。这种过程被称为传递函数的半自动定义或参数化。
[0018]传递函数的这种符合人体工程学的动态修改对于基于图像的内容快速地且最佳地修改传递函数是特别有效的。
[0019]界面可以是图形用户界面(GUI)。用户可以通过例如鼠标、键盘和/或虚拟现实控制器的至少一个控制器与界面交互。
[0020]所述方法可以包括以下步骤：
[0021]‑
获得所述区的至少一个2维或2D图像，所述2D图像包括像素和至少一个通道，值与所述2维图像的每个像素的每个通道相关联，所述2D图像的表示显示在第一界面中，
[0022]‑
获得所述区的至少一个3维或3D图像，所述3D图像包括体素和至少一个通道，值与所述3D图像的每个体素的每个通道相关联，3D图像的体素中的至少一些对应于2D图像的一些像素，所述3D图像的表示显示在第二界面中，
[0023]‑
从用户获得至少一个注释，所述注释定义所述2D图像的一组选定像素或所述3D图像的一组选定体素，
[0024]‑
通过选择分别与所述2D或3D图像的选定像素或体素相对应的3D或2D图像的体素或像素，分别将2D或3D图像中选择的一组像素或体素的选择传播到3D或2D图像，
[0025]‑
基于所述2D图像的选定像素计算第一传递函数并且将所述第一传递函数应用于2D图像的每个通道的值，
[0026]‑
更新第一界面中的2D图像的表示，其中所述表示的像素的颜色和透明度取决于第一传递函数，
[0027]‑
基于所述3D图像的选定体素计算第二传递函数并且将所述第二传递函数应用于3D图像的每个通道的值，
[0028]‑
更新第二界面中的3D图像的表示，其中所述表示的体素的颜色和透明度取决于第二传递函数。
[0029]根据这些特征，第一界面和2D图像的表示(或2D表示)可以适合于例如放射科医生的第一用户的需求，并且第二界面和3D图像的表示(或3D表示)可以适合于例如外科医生的第二用户的需求。
[0030]以此方式，可能在2D或3D表示中的一个上看不见的待检测元素将有更好的机会在另一表示上检测到。因此，使用2D和3D界面两者的这种双重验证改进检测。当然，同一用户可以使用第一和第二界面两者，以可视化2D和3D表示两者并且与2D和3D表示两者交互。
[0031]一组选定像素或体素从一个图像到另一图像的传播允许第一和第二传递函数的动态和同时调整。换句话说，一个界面上的注释对两个界面上的图像的表示都有影响。
[0032]此外，根据上述特征，将注释(例如，感兴趣区域)从一个界面传递到另一界面。然而，传递函数不传递，此传递函数在用户的每个注释处针对每个界面重新计算。这允许以交互和动态的方式获得用于2D和3D界面中的每一个的最佳传递函数。
[0033]这种行为促进界面之间的交互，例如两个用户之间的交互。
[0034]可以通过以下方式更新对应图像的一组选定像素或体素：通过至少一个界面从用户获得至少一个额外注释。
[0035]换句话说，对两个界面上的图像表示的更新可以是交互过程，其中每个连续的注释对所述表示具有影响。
[0036]可以在2D界面或第一界面中选择一组像素并且可以在3D或第二界面中选择一组体素，在两个界面中选定的对应像素和体素的并集可以用于计算对应的第一和第二传递函数。
[0037]在这种情况下，如果初始传递函数参数化不是最佳的，则可以在第一或第二界面中重新调整注释位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.由计算机构件实施以在至少一个界面中可视化对象的至少一个区的方法，所述方法包括以下步骤：
‑
获得所述区的至少一个图像，所述图像包括至少一个通道，所述图像是包括像素或体素的2维或3维图像，值与所述图像的每个像素或体素的每个通道相关联，所述图像的表示显示在所述界面中，
‑
从用户获得至少一个注释，所述注释定义所述图像的一组选定像素或体素，
‑
基于所述选定像素或体素计算传递函数并且将所述传递函数应用于所述图像的每个通道的值，
‑
更新所述界面中的图像的表示，其中所述表示的像素或体素的颜色和透明度取决于所述传递函数，其中所述方法包括以下步骤：
‑
获得所述区的至少一个2维或2D图像，所述2D图像包括像素和至少一个通道，值与所述2维图像的每个像素的每个通道相关联，所述2D图像的表示显示在第一界面中，
‑
获得所述区的至少一个3维或3D图像，所述3D图像包括体素和至少一个通道，值与所述3D图像的每个体素的每个通道相关联，所述3D图像的体素中的至少一些对应于所述2D图像的一些像素，所述3D图像的表示显示在第二界面中，
‑
从用户获得至少一个注释，所述注释定义所述2D图像的一组选定像素或所述3D图像的一组选定体素，
‑
通过选择分别与所述2D或3D图像的选定像素或体素相对应的3D或2D图像的体素或像素，分别将所述2D或3D图像中选定的一组像素或体素的选择传播到所述3D或2D图像，
‑
基于所述2D图像的选定像素计算第一传递函数并且将所述第一传递函数应用于所述2D图像的每个通道的值，
‑
更新所述第一界面中的2D图像的表示，其中所述表示的像素的颜色和透明度取决于所述第一传递函数，
‑
基于所述3D图像的选定体素计算第二传递函数并且将所述第二传递函数应用于所述3D图像的每个通道的值，
‑
更新所述第二界面中的3D图像的表示，其中所述表示的体素的颜色和透明度取决于所述第二传递函数。2.根据前一权利要求所述的方法，其特征在于，通过以下方式更新对应图像的一组选择像素或体素：通过所述至少一个界面从用户获得至少一个额外注释。3.根据前述权利要求中任一项所述的方法，其特征在于，根据以下步骤计算所述传递函数中的至少一个：
‑
选择第一感兴趣域A和第二感兴趣域B，每个域包括基于所述选定像素的一组像素或体素，
‑
分别基于所述第一感兴趣域A和第二感兴趣域B的像素或体素创建第一特征张量和第二特征张量，
‑
定义将通过与所述第一域A和第二域B相关联的特征的统计的最佳最大均值差异(MMD)区分所述第一域A与所述第二域B的统计测试，
‑
对于所述图像的每个像素或体素，用以下等式定义所述像素或体素的颜色C：
其中f*(v)是由以下等式定义的像素或体素v的值的见证函数其中k是核，其定义表示与属于域A和yj的像素或体素xi相关联的特征和与所述像素或体素v相关联的特征之间的距离的值，其中m是A中的像素或体素的数目并且n是域B中的像素或体素的数目其中k是核，其定义表示与像素或体素x
i
或y
i
相关联的特征和与所述像素或体素v相关联的特征之间的距离的值，
‑
对于所述图像的每个像素或体素，用以下等式定义所述像素或体素的透明度T：其中：h
A
(v)是具有所述核k的与所述第一域A的体素v相关联的特征的平滑密度，h
B
(v)是具有所述核k的与所述第二域B的体素v相关联的特征的平滑密度，并且Z
A,B
是标准化常数，确保max(Z
A,B
)＝c，其中c≤1，即定义最大透明度因子的预定常数。4.根据前述权利要求中任一项所述的方法，其特征在于，根据以下步骤计算所述传递函数中的至少一个：
‑
选择第一感兴趣域A和第二感兴趣域B，每个域包括基于所述选定像素的一组像素或体素，
‑
分别基于所述第一感兴趣域A和第二感兴趣域B创建第一特征张量和第二特征张量，
‑
将所述第一感兴趣域A和第二感兴趣域B中的像素或体素采样为具有和2n
A
≤n
max
，其中n
A
是所述第一域A中的样本像素或体素的数目，并且n
B
是所述第二域B中的样本像素或体素的数目，并且其中n
max
是预定值，
‑
对于所述图像的每个像素或体素，定义所述像素或体素的颜色C，其中f
*
(v)＝(βp
A
(v)+1)g(v)，作为属于域A的像素或体素的移位概率乘以所述像素或体素v的一个特征的值g(v)的归一化乘积。
‑
对于所述图像的每个像素或体素，用以下等式定义所述像素或体素的透明度T：
‑
其中：
‑
h
A
(v)＝(k*ρ)(v)是具有所述核k的与所述第一域A的体素v相关联的特征的平滑密度，即所述核与所述特征密度的卷积，
‑
h
B
(v)＝(k*ρ)(v)是具有所述核k的与所述第一域B的体素v相关联的特征的平滑密度，即所述核与所述特征密度的卷积，并且
‑
Z
A,B
是标准化常数，确保max(Z
A,B
)＝c，其中c≤1，即定义最大透明度因子的预定常数。5.根据权利要求3或4所述的方法，其特征在于，对于对应感兴趣域的每个像素，每个特征张量定义从以下特征列表中选择的至少一个特征值：
·
所述像素或体素的值v，
·
是所述像素或体素值的正则化梯度(在尺度l上)，正则化由高斯卷积执行，其中是零平均值和标准偏差l的高斯
·
S
l
(v)是像素或体素v周围的大小为l的补丁的熵，
·
是像素或体素v处的卷积图像的差异，其中(l1,l2)是与高斯相关联的两个尺度I是图像栈，
·
σ
l
(v)是以像...

【专利技术属性】
技术研发人员：莫哈梅德，
申请(专利权)人：巴斯德研究所，
类型：发明
国别省市：