基于自适应多门控混合专家模型的腹部多器官配准方法技术

本发明专利技术公开了一种基于自适应多门控混合专家模型的腹部多器官配准方法，主要解决了现有技术无法同时对腹部膀胱、宫颈、直肠进行可变形跨模态配准的问题。其方案是：借助盆骨的刚性对膀胱、直肠和宫颈器官在空间位置对齐；构建自适应多门控混合专家模型；将CT与MRI图像映射到掩码空间并转换为同一大小，再将其输入到多分支可变形配准网络中；在可变形配准网络中使用专家模型进行多目标优化，求解三个器官的配准结果；计算最终配准图像与原始CT图像的损失，迭代更新网络获取最优配准模型；通过最优配准模型获取三器官的最终配准结果。本发明专利技术能同时配准腹部CT、MRI图像中膀胱、直肠和宫颈，可为医生的医疗诊断、制定手术计划、放射治疗提供参考。疗提供参考。疗提供参考。

【技术实现步骤摘要】
Balakrishnan在2019年提出VoxelMorph网络，则是通过卷积神经网络提取图像特征信息来快速计算形变场，从而完成配准；Jiacheng Shi在2022年提出的XMorpher网络则是使用双并行的卷积神经网络特征提取网络，通过交叉关注交换信息，从而发现多层次的语义对应关系，并逐步提取各自的特征，最终进行有效配准。这些基于卷积神经网络的配准方法在医学图像配准中，相比传统方法，可以显著提高配准性能，并且经过训练后运行速度更快。
[0006]在多任务医学影像配准的研究方面，LiangQiu通过结合微分同胚配准网络和贝叶斯分割网络，提出了一种联合学习框架，通过可逆变形场，这两个任务可以无缝集成到一个系统中，即分割和配准使用不同的网络，只是将结果作为互相约束的条件。Yuting He借用Few
‑
Shot的方法，从分割网络中共享了特征提取部分，加入配准网络中完成配准任务。
[0007]基于多目标优化的多器官配准，需要同时考虑到多个器官的配准形变场的优化问题，且需要致力于让每个器官对应形变准确的前提下对其他的器官形变准确性影响最小化，为了解决相邻器官形变冲突的问题，配准相关的多任务学习需要从条件约束和训练方法两方面做出突破。
[0008]目前针对腹部医学影像配准的研究较少，专门针对多器官配准的研究更是鲜有人发表。所以，如何对腹部多器官跨模态图像进行配准，这是依然是配准的一个瓶颈。
[0009]大多数配准方法直接应用到多器官配准方法中时，主要有两种策略：
[0010]第一种是先分别配准每个器官，再对配准模型生成的结果，也就是生成的形变场进行融合，但配准一个器官时，往往不会考虑另外器官的影像，在这种情况下，是将其他的器官连带腹腔等都视作背景，而配准其他器官时，待配准器官又被视作前景，最终导致融合形变场时每个器官都会受到影响；
[0011]第二种是将所有器官放在同一张图像中统一配准，如此会形成器官的总体形变场，但每个器官的配准形变场会彼此干扰，导致最终每个器官相对于单独配准时都会产生误差。

技术实现思路

[0012]本专利技术的目的在于针对上述现有技术的不足，提出一种基于自适应多门控混合专家模型的腹部多器官配准方法，以降低每个器官的配准形变场之间的彼此干扰，减少每个器官配准时产生的误差，提高每个器官的配准效果。
[0013]本专利技术的技术思路是：使用多分支网络来实现多任务学习，通过返还各个器官的损失，对膀胱、宫颈以及直肠等器官的配准形变场分别进行优化；通过利用混合专家模型对每一个分支的结果，即对每个器官的形变场进行共同优化。其实现步骤包括如下：
[0014](1)使用盆骨的刚性对MRI图像及CT图像进行刚性配准：
[0015](1a)将医院提供的n个病人相匹配的MRI图像及CT图像的3D腹部影像数据集对作为原始数据，并利用基于Mask
‑
RCNN网络对其进行分割，得到盆骨、膀胱、宫颈、直肠这些关键器官的CT与MRI的3D标签数据集对，并利用该标签数据集对，对原始的3D腹部影像进行器官提取，得到包含相应关键器官的CT与MRI的3D数据集对；
[0016](1b)将每一对3D数据集对中的CT图像中的盆骨作为参考图像，将MRI图像中的盆骨作为浮动图像，对盆骨浮动图像进行3D仿射变换，使其与参考图像在空间位置对齐，得到相应的仿射变换矩阵N；
[0017](1c)将CT图像中膀胱、宫颈、直肠这三个关键器官作为参考图像，将MRI图像中的这三个关键器官作为浮动图像，利用(1b)得到的仿射变换矩阵，通过matlab中自带的imwarp()函数对该三个器官的浮动图像做矩阵变换，最终得到与CT关键器官3D图像在空间位置上对齐的MRI关键器官3D图像，即对齐后的3D跨模态图像对；
[0018](2)将空间位置对齐后的跨模态图像对转换为二值图像，并进行填充和裁剪：
[0019](2a)将这些跨模态3D图像对转换为2D图像，挑选出所有2D图像中含有膀胱、宫颈、直肠这些关键器官的图像对；
[0020](2b)将挑选出的所有图像转换为灰度值为0和255的二值图像；
[0021](2c)将得到的二值图像的背景通过裁剪和填充0的方式，统一为同样的大小，并将转换后的参考图像P_ref和浮动图像P_reg数据对按照6:3:1划分为训练集和验证集和测试集；
[0022](3)将VoxelMorph网络的解码器部分修改为三分支输出的网络模型，并加入混合专家模型，构成基于自适应多门控混合专家模型的腹部多器官配准模型；
[0023](4)对基于自适应多门控混合专家模型的腹部多器官配准模型进行训练：
[0024](4a)对(2c)中得到的二值化后的参考图像P_ref和浮动图像P_reg通道拼接后放入基于自适应多门控混合专家模型的腹部多器官配准模型的编码器中，得到其提取特征R；
[0025](4b)选用现有的混合专家模型，设定该模型中需要使用的三个门控网络和三个expert，将特征R输入到混合专家模型的三个门控网络中，使用线性变换将特征R的维度映射到与expert数量相同的维度上得到三个特征R1、R2、R3；
[0026](4c)将映射后的三个特征R1、R2、R3分别与可学习权值W
k
相乘，并通过softmax函数计算得到每个门控网络的输出结果，再将每个门控网络的输出与其对应expert的输出矩阵相乘并求和得到每一个expert的最终输出结果；
[0027](4d)对每一个最终输出的结果进行上采样，得到三个器官各自的优化形变场再将这三个优化形变场相加得到最终形变场Φ；
[0028][0029]其中，O为解码器分支的数量，i∈{1,
…
,O}；
[0030](4e)将训练集中的待配准图像与最终形变场进行融合，得到配准后图像A_reg；
[0031](4f)根据参考图像P_ref和配准后图像A_reg，计算该配准网络的训练集损失L
TDice
和验证集损失L
VDice
，并利用训练集损失进行反向传播迭代更新网络参数，直到验证集损失收敛，终得到训练好的基于自适应多门控混合专家模型的腹部多器官配准模型；
[0032](5)将测试集输入到训练好的配准网络模型中，得到测试集的多器官配准结果。
[0033]本专利技术与现有技术相比具有如下优点：
[0034]1.本专利技术使用骨盆的形状不变性和骨盆的位置信息作为刚性配准的先验约束，使用盆骨的刚性对MRI以及CT图像进行刚性配准，借助盆骨对三个器官空间位置进行对齐，解决了CT图像和MRI图像在空间位置差异大，而造成的可变形配准效率低、易陷入局部最优的问题，提高最终配准效果。
[0035]2.本专利技术将CT图像与MRI图像映射到掩码空间中，为可变形配准提供更具参考价
值的特征辅助信息。
[0036]3.本专利技术在基于自适应多门控混合专家模型的腹部多器官配准模型中使用了混合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应多门控混合专家模型的腹部多器官配准方法，其特征在于，包括：(1)使用盆骨的刚性对MRI图像及CT图像进行刚性配准：(1a)将医院提供的n个病人相匹配的MRI图像及CT图像的3D腹部影像数据集对作为原始数据，并利用基于Mask
‑
RCNN网络对其进行分割，得到盆骨、膀胱、宫颈、直肠这些关键器官的CT与MRI的3D标签数据集对，并利用该标签数据集对，对原始的3D腹部影像进行器官提取，得到包含相应关键器官的CT与MRI的3D数据集对；(1b)将每一对3D数据集对中的CT图像中的盆骨作为参考图像，将MRI图像中的盆骨作为浮动图像，对盆骨浮动图像进行3D仿射变换，使其与参考图像在空间位置对齐，得到相应的仿射变换矩阵N；(1c)将CT图像中膀胱、宫颈、直肠这三个关键器官作为参考图像，将MRI图像中的这三个关键器官作为浮动图像，利用(1b)得到的仿射变换矩阵，通过matlab中自带的imwarp()函数对该三个器官的浮动图像做矩阵变换，最终得到与CT关键器官3D图像在空间位置上对齐的MRI关键器官3D图像，即对齐后的3D跨模态图像对；(2)将空间位置对齐后的跨模态图像对转换为二值图像，并进行填充和裁剪：(2a)将这些跨模态3D图像对转换为2D图像，挑选出所有2D图像中含有膀胱、宫颈、直肠这些关键器官的图像对；(2b)将挑选出的所有图像转换为灰度值为0和255的二值图像；(2c)将得到的二值图像的背景通过裁剪和填充0的方式，统一为同样的大小，并将转换后的参考图像P_ref和浮动图像P_reg数据对按照6:3:1划分为训练集和验证集和测试集；(3)将VoxelMorph网络的解码器部分修改为三分支输出的网络模型，并加入混合专家模型，构成基于自适应多门控混合专家模型的腹部多器官配准模型；(4)对基于自适应多门控混合专家模型的腹部多器官配准模型进行训练：(4a)对(2c)中得到的二值化后的参考图像P_ref和浮动图像P_reg通道拼接后放入基于自适应多门控混合专家模型的腹部多器官配准模型的编码器中，得到其提取特征R；(4b)选用现有的混合专家模型，设定该模型中需要使用的三个门控网络和三个expert，将特征R输入到混合专家模型的三个门控网络中，使用线性变换将特征R的维度映射到与expert数量相同的维度上得到三个特征R1、R2、R3；(4c)将映射后的三个特征R1、R2、R3分别与可学习权值W
k
相乘，并通过softmax函数计算得到每个门控网络的输出结果，再将每个门控网络的输出与其对应expert的输出矩阵相乘并求和得到每一个expert的最终输出结果；(4d)对每一个最终输出的结果进行上采样，得到三个器官各自的优化形变场再将这三个优化形变场相加得到最终形变场Φ；其中，O为解码器分支的数量，i∈{1,
…
,O}；(4e)将训练集中的待配准图像与最终形变场进行融合，得到配准后图像A_reg；(4f)根据参考图像P_ref和配准后图像A_reg，计算该配准网络的训练集损失L
TDice
和验证集损失L
VDice
，并利用训练集损失进行反向传播迭代更新网络参数，直到验证集损失收敛，
终得到训练好的基于自适应多门控混合专家模型的腹部多器官配准模型；(5)将测试集输入到训练好的配准网络模型中，得到测试集的多器官配准结果。2.根据权利要求1所述的方法，其特征在于，步骤(1b)中对盆骨浮动图像进行3D仿射变换，是将浮动图像依次进行变换拉伸、收缩、扭曲、旋转，使其与参考图像在空间位置上对齐，得到相应的仿射变换矩阵N：N＝imregtform(F
mb
,F
fb
)其中，imregtform()为仿射变换函数，F
mb
为盆骨浮动图像，F
fb
为盆骨参考图像。3.根据权利要求1所述的方法，其特征在于，步骤(1c)中通过matlab中自带的imwarp()函数对三个器官的浮动图像做矩阵变换，是对三个关键器官进行与盆骨浮动图像同样的变换拉伸、收缩、扭曲、旋转，得到最终与原始三器官CT图像在空间上对齐的三器官变换图像F
a
：F
a
＝imwarp(F
bcr
,N)其中，imwarp()函数为矩阵变换函数，F
bcr
为三个关键器官的浮动图像，N为盆骨空间位置对齐的仿射变换矩阵。4.根据权利要求1所述的方法，其特征在于，步骤(2c)将二值图像的背景通过裁剪和填充0的方式，是将尺寸大于256*256的图像部分进行裁剪统一为大小256*256的图像，将尺寸小于256*256的图像背景边缘进行灰度值为0的填充。5.根据权利要求1所述的方法，其特征在于，步骤(3)构成的基于自适应多门控混合专家模型的多器官配准模型，其整体结构包括编码器、解码器、门控网络和expert四个关键部分，其中编码器和解码器使用内核大小为3，步幅为2的卷积，每个卷积之后都有一个参数为0.2的LeakyReLU层；在编码阶段，编码器中使用跨行卷积将每层的空间维度减少一半，逐步提取输入图像的特征信息；在优化阶段，将提取到的特征信息输入到三个门控网络与三个expert中，每个门控网络均由线性变换和softmax函数组成，每个expert都是一个简单的基层全连接网络，通过门控网络控制每个expert输出的特征矩阵；在解码阶段，将解码器复制为三个，将每一个expert最终学习到的特征输入到每一个解码器中，通过卷积上采样生成每个关键器官的形变场。6.根据权利要求1所述的方法，其特征在于，步骤(4a)中对参考图像P_ref和浮动图像P_reg进行通道拼接后放入基于自适应多门控混合专家模型的腹部多器官配...

【专利技术属性】
技术研发人员：缑水平，汪文婷，童诺，刘波，陈阳，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：