一种结构保持的弱监督多模态前列腺图像配准方法技术

本发明专利技术涉及一种结构保持的弱监督多模态前列腺图像配准方法，通过所设计步骤i至步骤ii，获得前列腺图像变换模型；然后执行步骤A至步骤B，应用前列腺图像变换模型，实现目标对象所对应分别已知图像中前列腺器官区域的三维前列腺磁共振(MRI)图像、前列腺经直肠超声(TRUS)图像之间的配准；方案设计在弱监督多模态前列腺配准网络中引入多级自注意力机制，为不同尺度的前列腺特征图建立长远距离的特征依赖关系，保证不同尺度前列腺特征图能携带更精准的空间位移量信息，并将其反映到位移场上，从而实现在不损害前列腺变换精度的情况下,使配准后前列腺图像中的内部器官结构得到更精细保持。更精细保持。更精细保持。

【技术实现步骤摘要】
一种结构保持的弱监督多模态前列腺图像配准方法


[0001]本专利技术涉及一种结构保持的弱监督多模态前列腺图像配准方法，属于图像处理


技术介绍

[0002]经直肠超声图像(TRUS)是癌症诊断和图像引导介入的标准成像方式，例如，活检、近距离放射治疗和冷冻疗法，前列腺近距离放射治疗通常使用高剂量率和对整个前列腺照射来治疗前列腺癌。然而，由于缺乏软组织对比度，在经直肠超声成像图像上很难准确地描绘出肿瘤和病变区域。磁共振图像(MRI)提供了详细的解剖和功能信息，这些信息在经直肠超声图像上不能获得，并且由于其优越的软组织对比度，磁共振图像对前列腺癌的检测和表征，具有比经直肠超声图像更高的灵敏度和特异性。但是，磁共振图像价格昂贵,不像经直肠超声图像那样广泛普及，最重要的是，为前列腺介入提供实时图像引导是不切实际的。因此，配准经直肠超声图像和磁共振图像来提供具有改进的软组织对比度的实时图像引导是十分有必要的。
[0003]深度学习的出现极大得影响图像配准研究的热点。最初，深度学习技术主要用于增强迭代、基于灰度的医学图像配准，但配准速度较慢，对快速配准算法的需求推动基于端到端的有监督配准方法的发展。由于有监督学习获取真实位移场比较困难，促使许多学者开发用于端到端的无监督配准框架。目前，无监督配准框架中重要的是图像相似性量化。对于经直肠超声图像和磁共振图像前列腺配准，由于两者之间的图像灰度和视野方面差异巨大，仅依靠无监督配准框架中的图像相似性量化是非常困难的。
[0004]弱监督框架利用从经直肠超声图像和磁共振图像中分割出来的前列腺解剖结构的分段重叠来设计损失函数，即采用标签的相似性度量作为目标函数，反向迭代更新网络的权重。使用解剖结构标签突出显示成对的前列腺图像中相同的器官和它们之间的边界、病理区域和其他解剖结构、以及出现在两个图像中的形态或生理特征,并且将其作为弱标签训练以预测低层的体素对应。但是在弱监督框架中产生的无约束位移场会导致移动图像发生不合适的扭曲，从而产生不真实的器官外观。尽管在弱监督框架中加入了一些正则化项(如:弯曲能量,位移梯度的L1或L2范数),在一定程度上限制了位移场,改善了扭曲移动图像不真实的器官外观,但是却导致了配准精度下降。因此，如何有效地平衡弱监督多模态前列腺图像配准中配准后前列腺图像内部器官外貌保持和精度成为研究中亟需解决的问题。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种结构保持的弱监督多模态前列腺图像配准方法，采用全新应用框架，保证不同尺度前列腺特征图能携带更精准的空间位移量信息，并将其反映到位移场上，从而实现在不损害前列腺变换精度的情况下,使配准后前列腺图像中的内部器官结构得到更精细保持。
[0006]本专利技术为了解决上述技术问题采用以下技术方案：本专利技术设计了一种结构保持的弱监督多模态前列腺图像配准方法，通过步骤i至步骤ii，获得前列腺图像变换模型；然后执行步骤A至步骤B，应用前列腺图像变换模型，实现目标对象所对应分别已知图像中前列腺器官区域的三维前列腺MRI图像、前列腺TRUS图像之间的配准；
[0007]步骤i.基于预设数量三维前列腺MRI样本图像、以及各三维前列腺MRI样本图像分别对应区分图像中前列腺器官区域的二值化三维前列腺MRI样本图像，分别与各三维前列腺MRI样本图像同属相同对象的各前列腺TRUS样本图像、以及各前列腺TRUS样本图像分别对应区分图像中前列腺器官区域的各二值化前列腺TRUS样本图像，结合分别用于描述各三维前列腺MRI样本图像中前列腺器官区域变换至相同对象的前列腺TRUS样本图像中前列腺器官区域轮廓形状的方法的各位移场，构建样本集，然后进入步骤ii；
[0008]步骤ii.基于样本集，以三维前列腺MRI样本图像和对应二值化三维前列腺MRI样本图像中的前列腺器官区域、以及与其同属相同对象的前列腺TRUS样本图像和对应二值化前列腺TRUS样本图像中的前列腺器官区域为输入，以描述该三维前列腺MRI样本图像中前列腺器官区域变换至该前列腺TRUS样本图像中前列腺器官区域轮廓形状的方法的位移场为输出，针对待训练网络进行训练，获得前列腺图像变换模型；
[0009]步骤A.针对目标对象所对应的三维前列腺MRI图像和前列腺TRUS图像，应用前列腺图像变换模型，获得描述该三维前列腺MRI图像中前列腺器官区域变换至该前列腺TRUS图像中前列腺器官区域轮廓形状的方法的位移场，然后进入步骤B；
[0010]步骤B.由该三维前列腺MRI图像，并按该位移场所描述的方法，获得该三维前列腺MRI图像中前列腺器官区域变换至该前列腺TRUS样本图像中前列腺器官区域轮廓形状后的三维前列腺MRI目标图像，实现目标对象所对应三维前列腺MRI图像、前列腺TRUS图像之间的配准。
[0011]作为本专利技术的一种优选技术方案：所述步骤ii中的待训练网络为多级自注意力卷积神经网络，包括第一下采样模块、第二下采样模块、第三下采样模块、第一上采样模块、第二上采样模块、第三上采样模块、以及四个三线性上采样模块；
[0012]其中，第一下采样模块包括一个自注意力机制块、三个特征提取模块、一个减少冗余特征模块、一个相加模块，自注意力机制块的输入端构成第一下采样模块的输入端；三个特征提取模块依次串联，并且其中第一位置的特征提取模块输入端构成该串联结构的输入端，以及其中第一位置的特征提取模块输出端与第三位置的特征提取模块输出端接入相加模块，由相加模块的输出端构成该串联结构的输出端；自注意力机制块的输出端与该串联结构的输入端相连接，该串联结构的输出端与减少冗余特征模块的输入端相连接，减少冗余特征模块的输出端构成第一下采样模块的输出端；
[0013]第二下采样模块的结构与第三下采样模块的结构相同，第二下采样模块、第三下采样模块分别均包括一个自注意力机制块、两个特征提取模块、一个减少冗余特征模块、一个相加模块，其中，自注意力机制块的输入端构成下采样模块的输入端，两个特征提取模块依次串联，自注意力机制块的输出端与该串联结构的输入端相连接，同时，自注意力机制块的输出端与该串联结构的输出端接入相加模块，由相加模块的输出端对接减少冗余特征模块的输入端，减少冗余特征模块的输出端构成下采样模块的输出端；
[0014]第一上采样模块的结构、第二上采样模块的结构、第三上采样模块的结构三者相
同，分别均包括一个扩大尺度模块、两个特征提取模块、一个相加模块、一个三线性加法上采样模块，其中，扩大尺度模块的输入端、三线性加法上采样模块的输入端构成上采样模块的输入端，两个特征提取模块依次串联，且该串联结构的输入端与该串联结构的输出端接入相加模块，由相加模块的输出端构成该串联结构的输出端，且该串联结构的输出端构成上采样模块的输出端，扩大尺度模块的输出端与三线性加法上采样模块的输出端彼此相汇聚，构成汇聚端；
[0015]第一下采样模块的输入端构成多级自注意力神经网络的输入端，第一下采样模块、第二下采样模块、第三下采样模块依次串联，第三下采样模块的输出端对接第一上采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构保持的弱监督多模态前列腺图像配准方法，其特征在于：通过步骤i至步骤ii，获得前列腺图像变换模型；然后执行步骤A至步骤B，应用前列腺图像变换模型，实现目标对象所对应分别已知图像中前列腺器官区域的三维前列腺磁共振(MRI)图像、前列腺经直肠超声(TRUS)图像之间的配准；步骤i.基于预设数量三维前列腺MRI样本图像、以及各三维前列腺MRI样本图像分别对应区分图像中前列腺器官区域的二值化三维前列腺MRI样本图像，分别与各三维前列腺MRI样本图像同属相同对象的各前列腺TRUS样本图像、以及各前列腺TRUS样本图像分别对应区分图像中前列腺器官区域的各二值化前列腺TRUS样本图像，结合分别用于描述各三维前列腺MRI样本图像中前列腺器官区域变换至相同对象的前列腺TRUS样本图像中前列腺器官区域轮廓形状的方法的各位移场，构建样本集，然后进入步骤ii；步骤ii.基于样本集，以三维前列腺MRI样本图像和对应二值化三维前列腺MRI样本图像中的前列腺器官区域、以及与其同属相同对象的前列腺TRUS样本图像和对应二值化前列腺TRUS样本图像中的前列腺器官区域为输入，以描述该三维前列腺MRI样本图像中前列腺器官区域变换至该前列腺TRUS样本图像中前列腺器官区域轮廓形状的方法的位移场为输出，针对待训练网络进行训练，获得前列腺图像变换模型；步骤A.针对目标对象所对应的三维前列腺MRI图像和前列腺TRUS图像，应用前列腺图像变换模型，获得描述该三维前列腺MRI图像中前列腺器官区域变换至该前列腺TRUS图像中前列腺器官区域轮廓形状的方法的位移场，然后进入步骤B；步骤B.由该三维前列腺MRI图像，并按该位移场所描述的方法，获得该三维前列腺MRI图像中前列腺器官区域变换至该前列腺TRUS样本图像中前列腺器官区域轮廓形状后的三维前列腺MRI目标图像，实现目标对象所对应三维前列腺MRI图像、前列腺TRUS图像之间的配准。2.根据权利要求1所述一种结构保持的弱监督多模态前列腺图像配准方法，其特征在于：所述步骤ii中的待训练网络为多级自注意力卷积神经网络，包括第一下采样模块、第二下采样模块、第三下采样模块、第一上采样模块、第二上采样模块、第三上采样模块、以及四个三线性上采样模块；其中，第一下采样模块包括一个自注意力机制块、三个特征提取模块、一个减少冗余特征模块、一个相加模块，自注意力机制块的输入端构成第一下采样模块的输入端；三个特征提取模块依次串联，并且其中第一位置的特征提取模块输入端构成该串联结构的输入端，以及其中第一位置的特征提取模块输出端与第三位置的特征提取模块输出端接入相加模块，由相加模块的输出端构成该串联结构的输出端；自注意力机制块的输出端与该串联结构的输入端相连接，该串联结构的输出端与减少冗余特征模块的输入端相连接，减少冗余特征模块的输出端构成第一下采样模块的输出端；第二下采样模块的结构与第三下采样模块的结构相同，第二下采样模块、第三下采样模块分别均包括一个自注意力机制块、两个特征提取模块、一个减少冗余特征模块、一个相加模块，其中，自注意力机制块的输入端构成下采样模块的输入端，两个特征提取模块依次串联，自注意力机制块的输出端与该串联结构的输入端相连接，同时，自注意力机制块的输出端与该串联结构的输出端接入相加模块，由相加模块的输出端对接减少冗余特征模块的输入端，减少冗余特征模块的输出端构成下采样模块的输出端；
第一上采样模块的结构、第二上采样模块的结构、第三上采样模块的结构三者相同，分别均包括一个扩大尺度模块、两个特征提取模块、一个相加模块、一个三线性加法上采样模块，其中，扩大尺度模块的输入端、三线性加法上采样模块的输入端构成上采样模块的输入端，两个特征提取模块依次串联，且该串联结构的输入端与该串联结构的输出端接入相加模块，由相加模块的输出端构成该串联结构的输出端，且该串联结构的输出端构成上采样模块的输出端，扩大尺度模块的输出端与三线性加法上采样模块的输出端彼此相汇聚，构成汇聚端；第一下采样模块的输入端构成多级自注意力神经网络的输入端，第一下采样模块、第二下采样模块、第三下采样模块依次串联，第三下采样模块的输出端对接第一上采样模块的输入端，第三下采样模块中自注意力机制块的输出端与第一上采样模块中的汇聚端接入相加模块，该相加模块的输出端对接第一上采样模块中串联结构的输入端；第一上采样模块的输出端对接第二上采样模块的输入端，第二下采样模块中自注意力机制块的输出端与第二上采样模块中的汇聚端接入相加模块，该相加...

【专利技术属性】
技术研发人员：何徐晨，吴梦麟，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：