基于一对一目标查询Transformer的多模态医学图像多器官定位方法技术

本发明专利技术提供了一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，属于医学图像处理技术领域。本发明专利技术利用条件高斯模型和Transformer的自注意力机制来模拟器官间位置和大小的相关性。一对一目标查询架构对每个目标器官强制执行一个唯一的目标查询，查询的顺序即为预测的类别，因此不需要进行分类，简化了网络结构，减少冗余计算，且具有更快的学习收敛速度。执行器官检测之前将3D的多模态图像投影到两个正交的2D平面上，再通过多模态融合方法结合来自多模态图像的互补信息，最后将得到的2D边界框反投影得到3D边界框，减少计算负担，获得更稳健的器官定位结果。获得更稳健的器官定位结果。获得更稳健的器官定位结果。

【技术实现步骤摘要】
基于一对一目标查询Transformer的多模态医学图像多器官定位方法


[0001]本专利技术属于医学图像处理
，具体涉及一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，主要利用器官间的几何相关性和多模态医学图像的信息互补性来高效准确地进行器官自动定位。

技术介绍

[0002]多模态医学图像是临床医学中常见的影像模式，如正电子发射型计算机断层显像/电子计算机断层扫描(Positron Emission Computed Tomography/Computed Tomography,PET/CT)，核磁扫描中的T1、T2、质子密度图，能谱CT中的多个能谱图像等。以PET/CT图像为例，其中PET图像是功能性图像，反映放射性示踪剂在体内的分布状态，可用于肿瘤良恶性诊断、组织代谢量化；CT图像反映人体器官和组织对X射线的吸收程度，可清晰地显示人体解剖结构。随着多模态医学影像的普及，每天都会获取大量的图像数据，医生的诊断负担不断增加。自动器官定位方法可以帮助减少图像读取时间，并为后续的计算机辅助诊断提供特定的器官区域。因此，快速且准确地实现多器官的自动定位成为多模态医学图像分析不可或缺的步骤。
[0003]图像中器官定位是指确定器官的三维边界框，即确定器官的x、y、z坐标的上下界限(即x
min
，x
max
，y
min
，y
max
，z
min
，z
max
)。
[0004]近年来，深度卷积神经网络(Convolutional Neural Networks,CNNs)在自然图像或医学图像中的目标检测方面表现优异。尽管CNN已应用于图像中的器官定位，但是由于缺乏对图像中器官之间的几何关系的理解，其性能仍然受到限制。
[0005]而最近，Transformer网络的发展显示了使用长距离目标相关性进行图像分类或分割的潜力，逐渐被用于对目标间相关性进行建模，从而提高医学图像分析的性能。然而，Transformer网络结构复杂，对训练时间要求比较多；而且需要大量的训练数据才可以表现优异，但医生手动标记大量三维医学图像是一项耗时且费力的任务；现有三维Transformer也只是通过降低网络深度在准确性和可学习性之间维持平衡。此外，目前的Transformer模型都没有使用来自多模态医学图像的信息来提高器官定位的准确率。

技术实现思路

[0006]为了解决上述问题，本专利技术提出一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法。该方法将三维多模态图像的二维投影视图(冠状和矢状方向)各自融合在一起作器官检测，使用条件高斯模型(Conditional Gaussian Model,CGM)进行人体区域器官之间的相关性建模，CNN对多模态融合图像进行特征提取，得到的图像特征序列和CGM预测结果共同作为Transformer的输入，在Transformer的综合作用下，一对一目标查询最终得到多器官的位置，目标查询的顺序对应多器官的类别，两个投影视图的检测结果反投影到3D空间以获得3D边界框，从而完成多器官自动定位。
[0007]本专利技术的技术方案是：
[0008]一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，包括以下步骤：
[0009]S1、三维多模态图像的二维投影与图像融合
[0010]S11、数据预处理
[0011]对数据集进行空间分辨率和图像尺寸的归一化预处理，具体做法如下：
[0012]首先，依据多个模态图像中最精细的空间分辨率，将多模态图像重采样到统一体素大小；然后，选取图像尺寸，对重采样后的图像进行中心裁剪，去除周围背景像素，同时保留人体区域。
[0013]S12、多模态图像的二维投影及灰度归一化
[0014]S121、三维医学图像计算量大，而其投影图一定程度可以表征三维医学图像中的主要信息，从而大幅度减少计算量，降低定位难度。因此，首先将每个模态图像采用保持图像特点的投影方式进行投影，得到二维冠状投影和矢状投影。具体如下：
[0015]对于功能性模态图像，如PET图像，高代谢的器官组织在图像中高亮，为了凸显高代谢的器官组织，选用最大密度投影(Maximum Intensity Projection,MIP)，从而保证高度代谢器官的良好对比度。
[0016]对于解剖学模态图像，如CT、核磁共振图像可显示解剖结构，人眼可以观察到大部分清晰显示的器官组织。若采用MIP会凸显高对比度组织而弱化低对比度组织，因此选用平均密度投影(Average Intensity Projection,AIP)来保持组织对比度。
[0017]S122、每个模态的投影图片都选择适当的阈值范围将图像的灰度归一化到[0,255]的灰度范围；所述的阈值范围具体使用[g(p1),g(p2)]的归一化窗口，其中g(p1)和g(p2)表示灰度阈值，该阈值排除了图像中的低于p1百分比和高于p2百分比的像素。
[0018]S13、多模态投影的图像融合
[0019]将每个投影视图融合在一起，分别生成冠状和矢状视图的两个融合图像；融合图像计算公式为：
[0020][0021]其中，α
u
表示权重因子，且I
u
表示第u种模态图像的投影视图。
[0022]S2、通过CGM构建器官之间位置相关性的粗预测模型
[0023]S21、构建器官的形状向量
[0024]多模态影像中的解剖结构位置检测是影像自动诊断的关键先行步骤。对于器官定位而言，不需要对器官用轮廓线准确标出，只需要确定三维多模态图像中器官的三维边界框的坐标上下界限。
[0025]训练集中每个训练样本6个特征值，即器官三维边界框的中心点坐标和长宽高，组成训练集。对于每个训练样本构建形状向量，设s
i
为训练样本i的形状向量，即s
i
＝(x，y，z，l
x
，l
y
，l
z
)。
[0026]S22、广义普氏变换
[0027]在使用表征器官位置和大小的形状向量进行统计建模前，为消除其他因素影像，
需要先把图像空间中的每个训练样本的形状向量通过广义普氏(Generalized Procrustes)变换，将其归一化到模型空间，进而在模型空间中进行后续操作。
[0028]S23、主成分分析(Principal Component Analysis,PCA)
[0029]PCA是由线性代数推导出来的，通过线性变换，将数据集中多个变量根据主成分的比重排序，选出部分可以代表整个数据集的特征，降低数据集维度。在复杂数据分析时可以减少计算量，保留主要信息，去除多余部分和噪声。需要注意的是，PCA是在模型空间中进行的。
[0030]以所有经过广义普氏变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，其特征在于，该方法包括以下步骤：S1、三维多模态图像的二维投影与图像融合S11、数据预处理对数据集进行空间分辨率和图像尺寸的归一化预处理；S12、多模态图像的二维投影及灰度归一化S121、将每个模态图像采用保持图像特点的投影方式进行投影，得到二维冠状投影和矢状投影；S122、每个模态的投影图片都选择适当的阈值范围将图像的灰度归一化到[0,255]的灰度范围；S13、多模态投影的图像融合将每个投影视图融合在一起，分别生成冠状和矢状视图的两个融合图像；融合图像计算公式为：其中，α
u
表示权重因子，且I
u
表示第u种模态图像的投影视图；S2、通过CGM构建器官之间位置相关性的粗预测模型S21、构建器官的形状向量器官三维边界框的中心点坐标和长宽高组成训练集；训练集中的每个训练样本构建形状向量，设s
i
为训练样本i的形状向量，即s
i
＝(x，y，z，l
x
，l
y
，l
z
)；S22、广义普氏变换图像空间中的每个训练样本的形状向量通过广义普氏变换，将其归一化到模型空间，进而在模型空间中进行后续操作；S23、主成分分析以所有经过广义普氏变换的s
i
为训练集，用统计形状模型方法对器官位置和大小变化进行建模，得到形状模型表示如下：其中，为训练集的平均形状，是选取的训练集的特征的平均值；Φ
s
为对训练集做主成分分析得到的特征向量矩阵，下标s表示形状，其中的k个特征向量代表从训练集中学习到的k种器官位置和大小变化模式；b
s
为形状参数，b
s
中的k个元素分别表示Φ
s
中的k个变形模式与训练集的平均形状叠加的权重；s表示最终得到的形状模型，b
s
影响s，通过调整b
s
的值可以控制模型变形；根据公式(2)反求出每个训练样本的形状参数，公式如下：其中，为对训练集做主成分分析后得到的特征向量矩阵的转置；S24、构建条件高斯模型
设和分别代表两个相邻器官A和B的形状参数，当已知时，的条件高斯模型CGM描述如公式(4)
‑
(6)所示：(6)所示：(6)所示：其中，是条件高斯模型得到的待预测器官的形状参数的均值，维度为k
×
1；是条件高斯模型得到的待预测器官的形状参数的协方差矩阵，维度为k
×
k；和是每个训练样本的形状参数，维度为k
×
1；和是...

【专利技术属性】
技术研发人员：王洪凯，刘林琳，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：