基于一对一目标查询Transformer的多模态医学图像多器官定位方法技术

本发明专利技术提供了一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，属于医学图像处理技术领域。本发明专利技术利用条件高斯模型和Transformer的自注意力机制来模拟器官间位置和大小的相关性。一对一目标查询架构对每个目标器官强制执行一个唯一的目标查询，查询的顺序即为预测的类别，因此不需要进行分类，简化了网络结构，减少冗余计算，且具有更快的学习收敛速度。执行器官检测之前将3D的多模态图像投影到两个正交的2D平面上，再通过多模态融合方法结合来自多模态图像的互补信息，最后将得到的2D边界框反投影得到3D边界框，减少计算负担，获得更稳健的器官定位结果。获得更稳健的器官定位结果。获得更稳健的器官定位结果。

【技术实现步骤摘要】
基于一对一目标查询Transformer的多模态医学图像多器官定位方法


[0001]本专利技术属于医学图像处理
，具体涉及一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，主要利用器官间的几何相关性和多模态医学图像的信息互补性来高效准确地进行器官自动定位。

技术介绍

[0002]多模态医学图像是临床医学中常见的影像模式，如正电子发射型计算机断层显像/电子计算机断层扫描(Positron Emission Computed Tomography/Computed Tomography,PET/CT)，核磁扫描中的T1、T2、质子密度图，能谱CT中的多个能谱图像等。以PET/CT图像为例，其中PET图像是功能性图像，反映放射性示踪剂在体内的分布状态，可用于肿瘤良恶性诊断、组织代谢量化；CT图像反映人体器官和组织对X射线的吸收程度，可清晰地显示人体解剖结构。随着多模态医学影像的普及，每天都会获取大量的图像数据，医生的诊断负担不断增加。自动器官定位方法可以帮助减少图像读取时间，并为后续的计算机辅助诊断提供特定的器官区域。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于一对一目标查询Transformer的多模态医学图像多器官定位方法，其特征在于，该方法包括以下步骤：S1、三维多模态图像的二维投影与图像融合S11、数据预处理对数据集进行空间分辨率和图像尺寸的归一化预处理；S12、多模态图像的二维投影及灰度归一化S121、将每个模态图像采用保持图像特点的投影方式进行投影，得到二维冠状投影和矢状投影；S122、每个模态的投影图片都选择适当的阈值范围将图像的灰度归一化到[0,255]的灰度范围；S13、多模态投影的图像融合将每个投影视图融合在一起，分别生成冠状和矢状视图的两个融合图像；融合图像计算公式为：其中，α
u
表示权重因子，且I
u
表示第u种模态图像的投影视图；S2、通过CGM构建器官之间位置相关性的粗预测模型S21、构建器官的形状向量器官三维边界框的中心点坐标和长宽高组成训练集；训练集中的每个训练样本构建形状向量，设s
i
为训练样本i的形状向量，即s
i
＝(x，y，z，l
x
，l
y
，l
z
)；S22、广义普氏变换图像空间中的每个训练样本的形状向量通过广义普氏变换，将其归一化到模型空间，进而在模型空间中进行后续操作；S23、主成分分析以所有经过广义普氏变换的s
i
为训练集，用统计形状模型方法对器官位置和大小变化进行建模，得到形状模型表示如下：其中，为训练集的平均形状，是选取的训练集的特征的平均值；Φ
s
为对训练集做主成分分析得到的特征向量矩阵，下标s表示形状，其中的k个特征向量代表从训练集中学习到的k种器官位置和大小变化模式；b
s
为形状参数，b
s
中的k个元素分别表示Φ
s
中的k个变形模式与训练集的平均形状叠加的权重；s表示最终得到的形状模型，b
s
影响s，通过调整b
s
的值可以控制模型变形；根据公式(2)反求出每个训练样本的形状参数，公式如下：其中，为对训练集做主成分分析后得到的特征向量矩阵的转置；S24、构建条件高斯模型
设和分别代表两个相邻器官A和B的形状参数，当已知时，的条件高斯模型CGM描述如公式(4)
‑
(6)所示：(6)所示：(6)所示：其中，是条件高斯模型得到的待预测器官的形状参数的均值，维度为k
×
1；是条件高斯模型得到的待预测器官的形状参数的协方差矩阵，维度为k
×
k；和是每个训练样本的形状参数，维度为k
×
1；和是...

【专利技术属性】
技术研发人员：王洪凯，刘林琳，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：