无监督学习的医学图像配准方法及系统技术方案

本发明专利技术公开了一种无监督学习的医学图像配准方法及系统，该方法包括以下步骤：1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；2)将固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到F和M之间的形变场3)基于形变场采用三线性插值对M进行空间变换，得到最终的配准结果将与F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。本发明专利技术无需预先准备的分割标签或形变场标签，可对不同模态中的大形变区域得到较好的配准精度，且本发明专利技术的配准速度快、可达到实时性效果。性效果。性效果。

【技术实现步骤摘要】
无监督学习的医学图像配准方法及系统


[0001]本专利技术涉及医学图像配准领域，特别涉及一种无监督学习的医学图像配准方法及系统。

技术介绍

[0002]现有的多模态医学图像配准多基于迭代数值优化方法，需在迭代过程中反复进行数值优化，计算量巨大，导致计算耗时过长，无法做到实时性。深度学习方法的推理速度快，但难以感知多模态图像中的大形变区域，难以实现大形变配准，现有的深度学习方法需要大量组织分割标签或形变场标签，在实际应用中通常获取以上标签。
[0003]所以，现在需要一种更可靠的方案。

技术实现思路

[0004]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种无监督学习的医学图像配准方法及系统。
[0005]为解决上述技术问题，本专利技术采用的技术方案是：一种无监督学习的医学图像配准方法，包括以下步骤：
[0006]1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；
[0007]2)将图像对：固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到固定图像F和浮动图像M之间的形变场
[0008]3)基于形变场采用三线性插值对浮动图像M进行空间变换，得到最终的配准结果配准过程中，将配准结果与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。
[0009]优选的是，所述步骤2)中，图像对：固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样，形成多个低分辨率的图像，得到图像对之间的粗配准形变场然后通过多分辨率图像配准网络对低分辨率的图像进行配准，最终得到固定图像F和浮动图像M之间的形变场
[0010]优选的是，所述空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块；
[0011]图像对：固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入，依次经过编码和解码阶段，最终得到3通道的粗配准形变场
[0012]其中，编码阶段使用卷积核大小为3、步长为1的3D卷积层，并且每个卷积后面都紧接着LeakyReLU激活层；并且在编码阶段，使用两个最大池化层来下采样空间维度，同时增加通道深度；
[0013]其中，解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征，最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场；
[0014]其中，跨越连接采用自注意力门控模块连接，以将来自编解码阶段的不同水平信息合并到空间特征图上。
[0015]优选的是，其中，自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图，来获取空间维度上的不同权值，进而保留相关区域激活，去除不相关或者噪声响应，具体包括：
[0016]首先对解码阶段的当前特征图C进行上采样操作，得到与先前特征图P通道数目和图像大小一致的特征图C
′
；
[0017]然后沿着通道轴对P和C
′
分别采用平均池化和最大池化，并且将结果相加，得到一个有效的文本特征描述CF；
[0018]对于CF，再进行卷积核大小为1、步长为1的标准卷积操作后，得到的注意力特征图AF通过Sigmoid激活来归一化，消除差异性噪声；
[0019]最后，将AF与P进行体素间对位相乘，可得到具有丰富上下文信息的空间注意力特征图。
[0020]优选的是，所述步骤2)中，通过多分辨率图像配准网络得到形变场的步骤具体包括：
[0021]2‑
1)首先，将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4，即F＝2F2＝4F1，M＝2M2＝4M1；
[0022]2‑
2)将图像对(F1，M1)作为第一阶段的输入，通过空间自注意力配准网络计算图像F1和图像M1之间的形变场
[0023]2‑
3)对上采样，得到与图像对F2、M2大小一样的形变场将作为形变场并对M2进行空间形变得到
[0024]2‑
4)将图像对作为第二阶段的输入，通过空间自注意力配准网络计算图像F2和图像之间的形变场将与相加得到
[0025]2‑
5)对上采样，得到与图像对F、M大小一样的形变场利用形变场对M进行空间形变得到
[0026]2‑
6)将图像对作为第二阶段的输入，通过空间自注意力配准网络计算图像F和图像之间的形变场将与相加得到最终的形变场
[0027]优选的是，损失函数L的表达式为：
[0028][0029]其中，为配准结果与固定图像F的结构信息相似测度，L
smooth
为平滑约束项，L
Jet
为雅可比负值折叠罚项，α、β和γ均为权值。
[0030]优选的是，α、β和γ分别为10、0.5和200。
[0031]优选的是，其中，的计算方法包括以下步骤：
[0032]3‑
1)对于图像I中的任意一点x的局部结构用六邻域进行表示：中心图块是以点x为中心、大小为p
×
p
×
p的图像块，外周是与中心图块距离为r的六邻域块；x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示，假设六邻域中任一图像块为x
i
，则x与x
i
的高斯核距离表示为：
[0033][0034]表示6组图像对的均方欧氏距离之和，其中，每组图像对表示为：
[0035]其中，i＝1，2...6，D
p
(I，x，x
i
)表示6组图像对的均方欧氏距离之和，其中的每组图像对(x，x
i
)的均方欧氏距离为：以x为中心的图像块I
p
(x)与以x
i
为中心的图像块I
p
(x
i
)之间的均方欧氏距离；
[0036]其中，σ2是所有图像对的均方欧氏距离的期望值，即：
[0037][0038]3‑
2)计算出所有的高斯核距离，定义模态无关邻域特征损失MIND为：
[0039]MIND＝[d
gauss
(I，x，x
i
)}，i＝1，2...6；
[0040]3‑
3)定义为：
[0041][0042]其中，N＝6。
[0043]优选的是，其中，L
Jet
的表达式为：
[0044][0045]其中，M是中的全部元素总数，σ(
·
)表示一个线性激活函数，对所有正值都是线性的，负值全部为零；代表形变场的在位置p上的雅可比矩阵；
[0046]的表达式为：
[0047][0048]本专利技术还提供一种无监督学习的医学图像配准系统，其采用如上所述的方法进行医学图像配准。
[0049]本专利技术的有益效果是：本专利技术提供的无监督学习的医学图像配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督学习的医学图像配准方法，其特征在于，包括以下步骤：1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；2)将图像对：固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到固定图像F和浮动图像M之间的形变场3)基于形变场采用三线性插值对浮动图像M进行空间变换，得到最终的配准结果配准过程中，将配准结果与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。2.根据权利要求1所述的无监督学习的医学图像配准方法，其特征在于，所述步骤2)中，图像对：固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样，形成多个低分辨率的图像，得到图像对之间的粗配准形变场然后通过多分辨率图像配准网络对低分辨率的图像进行配准，最终得到固定图像F和浮动图像M之间的形变场3.根据权利要求2所述的无监督学习的医学图像配准方法，其特征在于，所述空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块；图像对：固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入，依次经过编码和解码阶段，最终得到3通道的粗配准形变场其中，编码阶段使用卷积核大小为3、步长为1的3D卷积层，并且每个卷积后面都紧接着LeakyReLU激活层；并且在编码阶段，使用两个最大池化层来下采样空间维度，同时增加通道深度；其中，解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征，最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场；其中，跨越连接采用自注意力门控模块连接，以将来自编解码阶段的不同水平信息合并到空间特征图上。4.根据权利要求3所述的无监督学习的医学图像配准方法，其特征在于，其中，自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图，来获取空间维度上的不同权值，进而保留相关区域激活，去除不相关或者噪声响应，具体包括：首先对解码阶段的当前特征图C进行上采样操作，得到与先前特征图P通道数目和图像大小一致的特征图C
′
；然后沿着通道轴对P和C
′
分别采用平均池化和最大池化，并且将结果相加，得到一个有效的文本特征描述CF；对于CF，再进行卷积核大小为1、步长为1的标准卷积操作后，得到的注意力特征图AF通过Sigmoid激活来归一化，消除差异性噪声；最后，将AF与P进行体素间对位相乘，可得到具有丰富上下文信息的空间注意力特征图。5.根据权利要求5所述的无监督学习的医学图像配准方法，其特征在于，所述步骤2)中，通过多分辨率图像配准网络得到形变场的步骤具体包括：2
‑
1)首先，将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4，即F＝2F2＝4F1，M＝2M2＝4M1；2
‑
2)将图像对(F1，M1)作为第一阶段的输入，通过空间自注意力配准网络计算图像F1和
图像M1之间的形变场2
‑
...

【专利技术属性】
技术研发人员：戴亚康，周志勇，胡冀苏，钱旭升，耿辰，
申请(专利权)人：中国科学院苏州生物医学工程技术研究所，
类型：发明
国别省市：