基于多帧智能体的多模态医学图像柔性配准方法技术

本发明专利技术涉及一种基于多帧智能体的多模态医学图像柔性配准算法，基于强化学习设计一种新的端到端的多模态图像配准方法，由软演员

【技术实现步骤摘要】
基于多帧智能体的多模态医学图像柔性配准方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种基于多帧智能体的多模态医学图像柔性配准方法。

技术介绍

[0002]在医学图像领域中，不同模态的图像包含了不同的解剖信息，例如T1加权(T1
‑
weighted)的磁共振(Magnetic Resonance, MR)成像能够反应符合人类直觉的解剖图像，T2加权(T2
‑
weighted)的MR成像受病灶组织水含量的影响，呈现出局部高亮的特征，这便于有效地观察正常组织和病变组织之间的差异，稳定的多模态图像配准可以融合不同模态的信息以实现优势互补，从而帮助医生精准地完成病情诊断。
[0003]医学图像配准即通过寻找图像对之间的空间对应关系，将其映射到同一空间坐标系的过程。现有的医学图像配准的方法包括传统的基于特征的方法和基于学习的方法。传统的图像配准方法依靠手动提取特征来计算图像对的相似性度量，但在面对复杂的多模态图像时，存在难以提取有效特征的问题。基于学习的方法能够自动捕捉高维抽象特征，增强了配准算法的鲁棒性。这种方法通常采用一次性对齐的方式完成图像配准，但其难以处理存在大形变或位移的图像。
[0004]传统的柔性图像配准问题被表述为一种优化过程，旨在通过最大化移动图像和固定图像之间的相似性度量来促进图像对齐，同时惩罚变形场的非平滑畸变。然而，这种方法通常计算密集且时间成本高昂。因此，传统配准方法往往难以获得良好的图像特征以实现准确的全局对准。
[0005]近年来，深度学习技术的不断发展促进了配准领域的进步。基于深度学习（Deep Learning, DL）的方法通常使用卷积神经网络自动地从输入图像对中捕捉高维抽象特征，克服了手动提取特征的障碍并实现了配准精度的进一步提升，但为了进一步提高抽象特征的捕捉能力，常常使用深层次的网络结构，这无疑增加了计算性能开销。这种方法一般采用一次性对齐的方式完成图像配准，难以处理存在大形变或位移的图像，而且计算极其复杂。基于深度强化学习（Deep Reinforcement Learning, DRL）的方法则是将配准过程视为一个马尔科夫决策过程,让DRL智能体在预先定义的动作空间中进行自由探索，在不断试错的过程中积累经验，最后可以根据特定的环境快速地做出对应的决策，完成高精度配准，这使得图像配准的每一步都可以被可视化呈现出来，克服了深度学习方法的不透明性的缺点。但由于DRL难以训练的特性和多模态的复杂性，而且柔性图像配准具有巨量的参数、复杂的空间映射关系以及高维且连续的动作空间，所以应用到柔性图像配准仍然具有很高的挑战性。
[0006]现有技术方案存在的不足(尤其是针对本专利技术来说的不足)：目前的深度学习方法通常采用一次性对齐的方式完成图像配准，难以处理存在大形变或位移的图像，其产生的结果也不具备良好的可解释性，且高维抽象特征的提取通常需要层次更深结构更复杂的网络，增加了训练的不稳定性，而且对计算性能提出了更高的要求。由于强化学习难以训练的
特性和多模态配准环境的复杂性，这些方法通常只能处理多模态刚性变换，而且强化学习的框架设计者往往忽略了对时间特征的提取。深度强化学习方法大多需要庞大的内存空间来保存历史经验，如何简化配准模型和提高配准效率成为医学图像配准亟需解决的问题。

技术实现思路

[0007]针对现有技术之不足，本专利技术提出了一种基于多帧智能体的多模态医学图像柔性配准方法，其特征在于，所述配准方法提出了基于软演员
‑
评论家算法的三维多模态柔性图像配准的多帧智能代理框架，该框架在传统的演员
‑
评论家框架中引入了计划者的概念，计划者一次观测多个连续的状态并生成一个低维计划，以此作为生成演员高维动作的模板并参与评论家的评价，以完全无监督的方式从多帧状态融合中预测高维动作，能够指导模型完成图像生成以及策略控制，具体包括：步骤1：准备待配准图像数据集，包括结构图像T1w和T2w，其中，T1w作为固定图像，T2w作为移动图像；步骤2：将所有待配准图像通过最大
‑
最小缩放归一化重新采样到128*128*128的大小，设置T1w为固定图像I
f
，T2w为移动图像I
m
，初始状态S
t=0
为图像对{I
m
,I
f
}；步骤3：创建一个大小为3的状态队列Q用于存放最近3帧的状态[S
t
‑2,S
t
‑1,S
t
]，该队列由3个S
t=0
初始化，构建三个网络：计划者网络，演员网络和评论家网络，具体为：计划者网络由5个下采样模块组成，每个下采样模块包含了两个卷积层与一个残差模块，残差模块同样由两个卷积层组成，对每个卷积层的输出使用LeakyReLU激活函数；演员网络包含了5个上采样模块，其结构与计划者网络一致，演员网络中额外存在一个输出模块，以第5个上采样模块的输出作为其输入，并生成形变场；每个上采样模块的输入由上一个模块的输出和跳跃连接提供的特征图按通道方式拼接而成；评论家网络由5个下采样模块组成，模块中运用了谱归一化的方法平滑网络梯度，在第5个下采样模块之后额外引入了一个输出模块，由卷积层、LeakyReLU激活层和线性层组成，其中，卷积层输出的张量展平后送入到线性层中；步骤4：将步骤3中创建的状态队列Q输入计划者网络，计划者同时观察最近的三个状态[S
t
‑2,S
t
‑1,S
t
]，并将其下采样到对应的低维表示[Z
t
‑2,Z
t
‑1,Z
t
]，用低维表示Z
t
的偏移量近似时空信息，即[Z
t
‑
Z
t
‑1,Z
t
‑1‑
Z
t
‑2]，从下采样得到的低维表示以及偏移量中计算得到均值和方差进行拟合生成高斯分布，潜在计划P
t
从高斯分布中随机采样得到，因此，潜在计划P
t
显式地考虑了配准过程中的时空特征；步骤5：将潜在计划P
t
输入演员网络中，并将计划者网络中每个下采样模块输出的特征图通过跳跃连接按通道数拼接到演员网络中，同时利用计划者网络中的细节特征和低维潜在计划重建精细的高维形变场，将所述高维形变场作为动作，通过空间转换网络将其施加到移动图像I
m
，使其发生柔性形变得到预测图像，将预测图像和固定图像I
f
的互信息损失以及形变场的空间平滑项作为无监督的配准损失，通过柔性配准环境中无监督的模态无关领域描述算子计算图像对{I
m
,I
f
}以及形变后的图像对{I
m
,I
f
}的相似性度量，并作为无监督反馈奖励；步骤6：将当前状态S
t
和潜在计划P
t...

【技术保护点】

【技术特征摘要】
1.基于多帧智能体的多模态医学图像柔性配准方法，其特征在于，所述配准方法提出了基于软演员
‑
评论家算法的三维多模态柔性图像配准的多帧智能代理框架，该框架在传统的演员
‑
评论家框架中引入了计划者的概念，计划者一次观测多个连续的状态并生成一个低维计划，以此作为生成演员高维动作的模板并参与评论家的评价，以完全无监督的方式从多帧状态融合中预测高维动作，能够指导模型完成图像生成以及策略控制，具体包括：步骤1：准备待配准图像数据集，包括结构图像T1w和T2w，其中，T1w作为固定图像，T2w作为移动图像；步骤2：将所有待配准图像通过最大
‑
最小缩放归一化重新采样到128*128*128的大小，设置T1w为固定图像I
f
，T2w为移动图像I
m
，初始状态S
t=0
为图像对{I
m
,I
f
}；步骤3：创建一个大小为3的状态队列Q用于存放最近3帧的状态[S
t
‑2,S
t
‑1,S
t
]，该队列由3个S
t=0
初始化，构建三个网络：计划者网络，演员网络和评论家网络，具体为：计划者网络由5个下采样模块组成，每个下采样模块包含了两个卷积层与一个残差模块，残差模块同样由两个卷积层组成，对每个卷积层的输出使用LeakyReLU激活函数；演员网络包含了5个上采样模块，其结构与计划者网络一致，演员网络中额外存在一个输出模块，以第5个上采样模块的输出作为其输入，并生成形变场；每个上采样模块的输入由上一个模块的输出和跳跃连接提供的特征图按通道方式拼接而成；评论家网络由5个下采样模块组成，模块中运用了谱归一化的方法平滑网络梯度，在第5个下采样模块之后额外引入了一个输出模块，由卷积层、LeakyReLU激活层和线性层组成，其中，卷积层输出的张量展平后送入到线性层中；步骤4：将步骤3中创建的状态队列Q输入计划者网络，计划者同时观察最近的三个状态[S
t
‑2,S
t
‑1,S
t
]，并将其下采样到对应的低维表示[Z
t...

【专利技术属性】
技术研发人员：胡靖，郑鹏，帅志坤，吴锡，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：