一种基于全卷积网络的三维腹部CT图像多器官配准方法技术

本发明专利技术公开了一种基于全卷积网络的三维腹部CT图像多器官配准方法。首先，获取腹部CT图像数据集。然后，引入注意力机制模块，构建基于全卷积的网络模型，对该网络模型进行训练并获得初步分割结果，再引入全连接条件随机场，进一步优化分割结果，以实现腹部CT序列多器官区域的提取。其次，构建腹部CT序列多器官区域图像对以及基于局部相关系数数据项和空间正则化项的相似性度量函数。最后，采用交替方向乘子法最小化相似性度量函数，实现腹部多器官区域CT图像对配准。本发明专利技术采用先分割再配准的两步法策略，消除了外部灰度信息和噪声对腹部目标器官区域配准的干扰，时间消耗少，配准精度高，鲁棒性强。

【技术实现步骤摘要】
一种基于全卷积网络的三维腹部CT图像多器官配准方法
本专利技术涉及医学图像处理领域，具体涉及一种基于全卷积网络的三维腹部CT图像多器官配准方法。
技术介绍
图像配准是计算机辅助疾病诊断、手术和治疗的关键步骤，其目的是寻求一种空间变换，通过映射使两个图像的对应点在空间上保持一致。配准技术能对源于相同或不同模态医学图像的腹部器官、组织的形状和大小进行匹配，因此对辅助医生治疗计划、手术导航和疗效评估至关重要。腹部的组织和器官柔软、边缘模糊、器官形态个体差异较大且易受呼吸运动的影响，因此腹部图像配准具有挑战性。目前腹部图像配准方法运算量大、计算复杂度高、缺乏鲁棒性，且在临床应用中难以同时满足配准的实时性和准确性。因此，研究一种快速、精准、鲁棒的腹部CT图像配准方法对于计算机辅助诊断和精准医疗都非常重要。现有的腹部图像形变配准方法通常可分为基于强度的和基于特征的两大类。基于强度的配准方法直接利用灰度信息构建固定图像和浮动图像之间的相似性度量，主要包括误差平方和、互信息、相关系数和序列相似度检测算法等。该类方法对每个像素点求其位移，无需预处理，配准精度高，但运算量大，计算复杂度高。基于特征的配准方法主要是提取图像的点特征、边缘特征和区域特征等，进行特征匹配。该类方法仅需提取少量重要特征信息，可极大地减少配准过程中的噪声干扰、时耗和计算复杂度，但对特征提取和匹配位置的误差敏感度高，从而降低了配准精度。
技术实现思路
本专利技术的目的在于针对腹部CT图像中组织结构纹理复杂、器官轮廓边缘灰度差异小、配准算法时耗长、计算复杂度高等问题，采用先分割腹部CT图像多器官区域再配准的两步法策略，提出了一种快速、精准、鲁棒性强的基于全卷积网络的三维腹部CT图像多器官配准方法。本专利技术提出的基于全卷积网络的三维腹部CT图像多器官配准方法包括以下步骤：(1)获取三维腹部CT图像数据集：在公开数据库SLIVER07、LiTS和BTCV中随机读取N个腹部CT序列分类标签信息，获取并补齐相应的肝、左肾、右肾和脾的分割掩膜，组成样本训练集和测试集；(2)提取三维腹部CT序列多器官区域，具体包括以下步骤：(2-a)引入注意力机制模块，构建基于全卷积网络的分割模型：改进的全卷积网络共包含四个部分，其中第一部分包含下采样、密集卷积块、注意力机制模块各1个，激活函数3个；第二部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数3个；第三部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数2个；第四部分包含融合、卷积层、激活函数、上采样各1个；其中第一至第四部分上、下采样操作主要是对图像进行缩放，并通过缩放比s来控制感受野的大小，以获得图像在不同分辨率下的特征信息；第一至第三部分注意力机制模块通过压缩比r来减少特征学习的通道数量，使之成为轻量级模块；第一、第二、第三部分分别提取不同分辨率层的特征信息后并行输出作为第四部分的输入，密集卷积块由多个密集卷积层组成，每个卷积层的输入由前面所有层的输出拼接而成；(2-b)训练网络模型，获得三维腹部多器官分割掩膜：采用步骤(2-a)构建的网络模型对步骤(1)所得的样本训练集进行训练，以获得样本测试集的腹部CT序列多器官分割掩膜结果；(2-c)优化步骤(2-b)所得分割结果，实现腹部CT序列多器官区域的最终提取；(3)构建腹部CT序列多器官区域图像对(浮动图像与固定图像)：根据样本测试集中每个序列相应的多器官提取结果，随机抽取1个序列图像作为参考，并将剩余序列图像依次与其配对，获得多组腹部CT序列多器官区域图像对；(4)构建配准相似性度量函数：其中，I0为固定图像(参考图像)，I1为浮动图像，T为形变向量场，Sim为配准数据项，Reg为空间正则化项，λ为平衡数据项和正则化项之间误差的常数；(5)采用交替方向乘子法最小化相似性度量函数，实现腹部多器官区域CT图像对的配准。在上述步骤(2-c)中，采用全连接条件随机场优化分割结果，满足：其中，xi、xj分别为体素点i、j的图像标签；ψ(xi)代表单点势能函数ψ(xi)＝-logP(xi|I)，P(xi|I)为体素点对应网络模型的输出结果；ψij(xi,xj)代表成对点势能函数，且λm为权重参数，μ(xi,xj)＝[xi≠xj]为标签兼容性函数，以确保体素的能量只能在相同标签属性下相互传递，km(·)为高斯核能量函数，Fi和Fj为成对体素点的特征向量。在上述步骤(4)中，考虑到腹部各器官之间的形变相对独立，该情况下采用全局相似度度量，计算量大且易引起形变场的错误估计，逐一以每个体素为中心，将输入图像分割成小块，引入局部相关系数(LocalCorrelationCoefficient,LCC)，构建配准数据项Sim：每小块的局部相关系数的计算为：其中，[x]表示以x为中心体素点的图像块，v为像素体积，为浮动图像I1在形变向量场T作用下的空间变换，×代表逐个元素相乘；表示卷积操作，Wgaussian为高斯核滑窗函数，为I0与之间的局部相关性，且在上述步骤(4)中，为了避免配准形变场过光滑问题，对配准数据项Sim进行合理约束，构建空间正则化项Reg：其中，K为图像的总像素点个数，D为图像的维度，×代表逐个元素相乘。步骤(1)数据集相关参数设置中，优选N为30～200之间的整数。步骤(2-a)分割模型相关参数设置中，优选s为0～20之间的正实数，优选r为2～32之间的整数。步骤(4)相似性度量函数相关参数设置中，优选λ为大于0小于1的常数。步骤(5)交替方向乘子法相关参数设置中，优选迭代次数为50～150之间的整数。本专利技术具有如下优点：(1)本专利技术采用的基于全卷积网络的三维腹部CT图像多器官配准方法，引入了轻量级注意力机制模块，通过在各分辨率层添加该模块，调节特征图中目标器官区域的权重，对网络模型进行优化，提高了网络模型的分割精度；(2)本专利技术针对基于全卷积网络模型将特征图还原为原始图像大小时，其上采样操作会丢失部分特征信息从而影响分割精度，引入全连接条件随机场，对上采样后的分割掩膜进行校准和优化，从而进一步提高腹部多器官分割的精度；(3)本专利技术通过提取腹部多器官区域，消除了围绕腹部目标器官轮廓附近的灰度信息干扰，降低了计算复杂度，避免了基于强度的腹部配准方法运算量大、时耗长的缺点；(4)本专利技术针对全局相似度度量计算量大、易引起形变场的错误估计的问题，采用基于局部相关系数的相似性度量函数，引入空间正则化项对其加以约束，提高了腹部多器官配准精度，鲁棒性强。附图说明图1本专利技术实施方式的基于全卷积网络的三维腹部CT图像多器官配准流程图；图2本专利技术实施方式的改进的全卷积网络框架图；图3本专利技术实施方式的腹部CT序列多器官区域分割结果图；图4本专利技术实施方式的腹部CT序列原本文档来自技高网...

【技术保护点】
1.一种基于全卷积网络的三维腹部CT图像多器官配准方法，其特征在于包括以下步骤：/n(1)获取三维腹部CT图像数据集：/n在公开数据库SLIVER07、LiTS和BTCV中随机读取N个腹部CT序列分类标签信息，获取并补齐相应的肝、左肾、右肾和脾的分割掩膜，组成样本训练集和测试集；/n(2)提取三维腹部CT序列多器官区域，具体包括以下步骤：/n(2-a)引入注意力机制模块，构建基于全卷积网络的分割模型：/n改进的全卷积网络共包含四个部分，其中第一部分包含下采样、密集卷积块、注意力机制模块各1个，激活函数3个；第二部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数3个；第三部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数2个；第四部分包含融合、卷积层、激活函数、上采样各1个；其中第一至第四部分上、下采样操作主要是对图像进行缩放，并通过缩放比s来控制感受野的大小，以获得图像在不同分辨率下的特征信息；第一至第三部分注意力机制模块通过压缩比r来减少特征学习的通道数量，使之成为轻量级模块；第一、第二、第三部分分别提取不同分辨率层的特征信息后并行输出作为第四部分的输入，密集卷积块由多个密集卷积层组成，每个卷积层的输入由前面所有层的输出拼接而成；/n(2-b)训练网络模型，获得三维腹部多器官分割掩膜：/n采用步骤(2-a)构建的网络模型对步骤(1)所得的样本训练集进行训练，以获得样本测试集的腹部CT序列多器官分割掩膜结果；/n(2-c)优化步骤(2-b)所得分割结果，实现腹部CT序列多器官区域的最终提取；/n(3)构建腹部CT序列多器官区域图像对(浮动图像与固定图像)：/n根据样本测试集中每个序列相应的多器官提取结果，随机抽取1个序列图像作为参考，并将剩余序列图像依次与其配对，获得多组腹部CT序列多器官区域图像对；/n(4)构建配准相似性度量函数：/n...

【技术特征摘要】
1.一种基于全卷积网络的三维腹部CT图像多器官配准方法，其特征在于包括以下步骤：
(1)获取三维腹部CT图像数据集：
在公开数据库SLIVER07、LiTS和BTCV中随机读取N个腹部CT序列分类标签信息，获取并补齐相应的肝、左肾、右肾和脾的分割掩膜，组成样本训练集和测试集；
(2)提取三维腹部CT序列多器官区域，具体包括以下步骤：
(2-a)引入注意力机制模块，构建基于全卷积网络的分割模型：
改进的全卷积网络共包含四个部分，其中第一部分包含下采样、密集卷积块、注意力机制模块各1个，激活函数3个；第二部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数3个；第三部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数2个；第四部分包含融合、卷积层、激活函数、上采样各1个；其中第一至第四部分上、下采样操作主要是对图像进行缩放，并通过缩放比s来控制感受野的大小，以获得图像在不同分辨率下的特征信息；第一至第三部分注意力机制模块通过压缩比r来减少特征学习的通道数量，使之成为轻量级模块；第一、第二、第三部分分别提取不同分辨率层的特征信息后并行输出作为第四部分的输入，密集卷积块由多个密集卷积层组成，每个卷积层的输入由前面所有层的输出拼接而成；
(2-b)训练网络模型，获得三维腹部多器官分割掩膜：
采用步骤(2-a)构建的网络模型对步骤(1)所得的样本训练集进行训练，以获得样本测试集的腹部CT序列多器官分割掩膜结果；
(2-c)优化步骤(2-b)所得分割结果，实现腹部CT序列多器官区域的最终提取；
(3)构建腹部CT序列多器官区域图像对(浮动图像与固定图像)：
根据样本测试集中每个序列相应的多器官提取结果，随机抽取1个序列图像作为参考，并将剩余序列图像依次与其配对，获得多组腹部CT序列多器官区域图像对；
(4)构建配准相似性度量函数：



其中，I0为固定图像(参考图像)，I1为浮动图像，T为形变向量场，Sim为配准数据项，Reg为空间正则化项，λ为平衡数据项和正则化项之间误差的常数；
(5)采用交替方向乘子法最小化相似性度量函数，实现腹部多器官区域CT图像对的配准。


2.如权利要求1所述的基于全卷积网络的三维腹部CT图像多器官配准方法，其特征在于，所述的步骤(1)中，随机读取的腹部CT序列个数N的取值范围为30～200之间的整数。


3.如权利要求1所述的基于...

【专利技术属性】
技术研发人员：赵于前，杨少迪，张帆，杨振，廖苗，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43