【技术实现步骤摘要】
本专利技术涉及图像配准领域，尤其涉及一种基于前列腺mr图像分割结果的多模态配准方法、装置、设备及存储介质。
技术介绍
1、在前列腺癌放射治疗过程中，为了提高治疗方案的有效性，通常首选实时超声(us，ultrasound)图像来引导肿瘤的穿刺。然而，超声成像受组织对比度低的限制，且穿刺针会引入伪影并降低图像质量。与us成像相比，磁共振(mr,magnetic resonance)成像能更好地显示软组织的精细结构，因此在肿瘤识别过程中具有优势。在高质量的mr图像上勾画出器官和肿瘤轮廓，然后利用图像配准技术将其融合到us图像上，将有助于提高前列腺放射治疗的效果。近年来，人们提出了基于深度学习的图像配准方法来实现配准的自动化。通常，待配准的源图像和目标图像被输入到深度学习网络，并预测相应的变换矩阵或变形场。然后，可以用该矩阵或变形场对源图像进行变换，以生成配准图像。在网络训练过程中，通过测量配准图像和目标图像之间的相似度来优化网络参数。然而，多模态图像配准仍然是一个具有挑战性的任务，主要是因为在优化过程中很难度量图像的相似性。在mr和us图像中，由于成像原理的不同，相同的解剖结构可能出现在不同的图像强度范围，因此传统的基于强度的测量方法不能用于多模图像配准。为了解决这个问题，人们研究了许多多模图像配准策略。一些研究使用有监督的方法，通过测量预测变换矩阵和真实变换矩阵之间的差异来评估源图像和目标图像之间的相似性，而这种方法受到真实变换矩阵可用性和质量的高度限制。此外，有些研究还提出了弱监督策略，绕过了使用真实变换矩阵和基于强度的图像相似性
技术实现思路
1、专利技术目的：提出基于前列腺mr图像分割结果的多模态配准方法、装置、设备及存储介质，以解决现有技术存在的上述问题。
2、第一方面，提出一种基于前列腺mr图像分割结果的多模态配准方法，包括如下阶段：
3、s1、分割阶段：将mri图像和us图像分别输入各自的分割网络，分别得到mri前列腺图像、us前列腺图像、以及各自的肿瘤和特征点标签的概率图；
4、s2、仿射变换阶段：将所述mri前列腺图像和us前列腺图像、以及各自的肿瘤和特征点标签的概率图输入到仿射变换网络，输出仿射变换矩阵，并得到仿射变换后的mri前列腺图像、肿瘤和特征点标签的概率图；
5、s3、弹性变换阶段：将所述us前列腺图像和仿射变换后的mri前列腺图像、肿瘤和特征点标签的概率图输入到弹性变换网络，输出密集变形场，并得到弹性变换后的mri前列腺图像、肿瘤和特征点标签的概率图。
6、在第一方面进一步的实施例中，步骤s2进一步包括：
7、在仿射配准之后，将变形后的mri分割标签和us的分割标签输入到可变形配准网络；
8、在网络训练过程中，dice损失被用作标签相似度代价函数的一部分，鼓励所述可变形配准网络在变形后mr标签和固定的us标签之间产生重叠。
9、在第一方面进一步的实施例中，步骤s2中仿射变换损失函数为dice损失函数ldice：
10、
11、式中，wp和fp代表像素p的标签概率值，v代表整个3d图像。
12、在第一方面进一步的实施例中，在所述dice损失函数ldice的基础之上，加入变形场梯度的l2范数作为正则项，以平滑配准变形场：
13、
14、式中，lsmooth为变形场的正则约束项，具体为变形场空间梯度的l2范数，为配准变形场。
15、在第一方面进一步的实施例中，基于所述dice损失函数ldice、变形场的正则约束项lsmooth，得到总的损失函数ltotal：
16、
17、式中，ltotal为总的损失函数，为第k个标签的dice损失函数，k＝0，1，...n；是第k个标签对应的损失函数权重。
18、本专利技术的第二方面，提出一种基于前列腺mr图像分割结果的多模态配准装置，该装置包括分割模块、仿射变换模块、弹性变换模块。
19、分割模块用于将mri图像和us图像分别输入各自的分割网络，分别得到mri前列腺图像、us前列腺图像、以及各自的肿瘤和特征点标签的概率图；
20、仿射变换模块用于将所述mri前列腺图像和us前列腺图像、以及各自的肿瘤和特征点标签的概率图输入到仿射变换网络，输出仿射变换矩阵，并得到仿射变换后的mri前列腺图像、肿瘤和特征点标签的概率图；
21、弹性变换模块用于将所述us前列腺图像和仿射变换后的mri前列腺图像、肿瘤和特征点标签的概率图输入到弹性变换网络，输出密集变形场，并得到弹性变换后的mri前列腺图像、肿瘤和特征点标签的概率图。
22、本专利技术的第三方面，提出一种电子设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如第一方面所述的基于前列腺mr图像分割结果的多模态配准方法。
23、本专利技术的第四方面，提出一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一个可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如第一方面所述的基于前列腺mr图像分割结果的多模态配准方法。
24、相对于现有技术，本申请结合了图像分割模型，得到前列腺，肿瘤以及一些特征点的标记，针对图像质量差，缺乏弱监督标记和难以准确配准的问题，实现更加精准的多模态配准。
本文档来自技高网...【技术保护点】
1.一种基于前列腺MR图像分割结果的多模态配准方法，其特征在于，包括如下阶段：
2.根据权利要求1所述的基于前列腺MR图像分割结果的多模态配准方法，其特征在于，步骤S2进一步包括：
3.根据权利要求2所述的基于前列腺MR图像分割结果的多模态配准方法，其特征在于，步骤S2中仿射变换损失函数为Dice损失函数LDice：
4.根据权利要求3所述的基于前列腺MR图像分割结果的多模态配准方法，其特征在于，在所述Dice损失函数LDice的基础之上，加入变形场梯度的L2范数作为正则项，以平滑配准变形场：
5.根据权利要求4所述的基于前列腺MR图像分割结果的多模态配准方法，其特征在于，基于所述Dice损失函数LDice、变形场的正则约束项LSmooth，得到总的损失函数LTotal：
6.一种基于前列腺MR图像分割结果的多模态配准装置，其特征在于，包括：
7.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一个可
...【技术特征摘要】
1.一种基于前列腺mr图像分割结果的多模态配准方法，其特征在于，包括如下阶段：
2.根据权利要求1所述的基于前列腺mr图像分割结果的多模态配准方法，其特征在于，步骤s2进一步包括：
3.根据权利要求2所述的基于前列腺mr图像分割结果的多模态配准方法，其特征在于，步骤s2中仿射变换损失函数为dice损失函数ldice：
4.根据权利要求3所述的基于前列腺mr图像分割结果的多模态配准方法，其特征在于，在所述dice损失函数ldice的基础之上，加入变形场梯度的l2范数作为正则项，以平滑配准变形场：
5.根据权利要求...
【专利技术属性】
技术研发人员：王博，张兆东，陈波，张凯凯，王亚飞，何云迪，
申请(专利权)人：磅客策上海智能医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。