【技术实现步骤摘要】
本专利技术涉及图像合成，具体为多模态mr图像合成方法、系统、存储介质及设备。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、mr图像，即磁共振图像，是一种非侵入性、无辐射的成像技术，利用原子核在强磁场和射频脉冲的作用下产生的信号，生成高分辨率的人体组织影像。其高对比度、多平面成像以及对软组织的优越表现使其成为临床和科研中不可或缺的工具。而该技术存在一些局限性，设备的制造成本和维护成本高昂；获取磁共振图像通常需要较长时间的扫描，对于一些患者，特别是无法保持静止的患者，可能导致不适感引发成像质量下降；一些携带金属植入物或器械的患者，获取磁共振图像时存在一定的安全风险。
技术实现思路
1、为了解决上述
技术介绍
中存在的技术问题，本专利技术提供多模态mr图像合成方法、系统、存储介质及设备，在有限的配对数据情况下，引入带有补丁互补预训练(pc-mae)的多模态医学图像合成框架(mcf-net)，通过融合磁共振图像不同模态的信息，克服传统方法对于噪声、运动伪影和成本的限制，从而降低获取图像的成本，提升图像的质量。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、本专利技术的第一个方面提供多模态mr图像合成方法，包括以下步骤：
4、获取不同模态的mr图像，划分为相互不重叠的块，并对其中至少两个模态的图像进行随机对齐遮蔽，基于编码器提取每个模态图像中的对齐标记和相应的位置，基于解码器得到目标模态
5、训练期间，利用生成器得到与模态图像对应的边缘图，并与原始模态图像拼接，形成设定模态的特征表示。
6、进一步的，基于编码器提取每个模态图像中的对齐标记和相应的位置，具体为：利用每个模态对应的编码器获取该模态图像中的对齐标记和相应的位置，通过共享编码器获取不同模态图像的高维数据编码表示。
7、进一步的，基于解码器得到目标模态的图像，具体为：通过与共享编码器对应的共享解码器执行跨模态交互，基于特定解码器得到相应目标模态的图像。
8、进一步的，设定模态的特征表示，通过每个模态对应的编码器的分支实现下采样，每个模态对应的解码器提高特征分辨率，经融合得到得到目标模态的图像。
9、进一步的，经融合得到得到目标模态的图像，包括：
10、确定每个模态对应的编码器获取的特征表示，每个模态对应解码器获取的上采样特征表示；
11、在空间注意力引导阶段，拼接编码器获取的特征表示和解码器获取的上采样特征表示，通过逐点卷积运算，得到空间注意力图并缩放；
12、在空间注意力图和输入特征之间进行空间乘法，获得过滤后的特征。
13、进一步的，经融合得到得到目标模态的图像，还包括：
14、在通道注意力引导阶段，过滤后的特征经池化处理，获得通道上下文描述符；
15、重组通道上下文描述符，得到融合后的特征图并作为下一个上采样阶段的输入。
16、进一步的，一致性处理，具体为：以融合后得到的目标模态图像和相应的缺失模态的真实值，并基于特征一致性损失衡量合成图像和真实值之间的差异，通过权重参数平衡损失函数以实现一致性处理。
17、本专利技术的第二个方面提供多模态mr图像合成系统，包括：
18、补丁互补预训练模块，被配置为：获取不同模态的mr图像，划分为相互不重叠的块，并对其中至少两个模态的图像进行随机对齐遮蔽，基于编码器提取每个模态图像中的对齐标记和相应的位置，基于解码器得到目标模态的图像，利用目标模态图像中的特征经一致性处理，并通过训练得到合成的真实模态的图像；
19、边缘增强微调模块，被配置为：训练期间，利用生成器得到与模态图像对应的边缘图，并与原始模态图像拼接，形成设定模态的特征表示。
20、本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述多模态mr图像合成方法中的步骤。
21、本专利技术的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述多模态mr图像合成方法中的步骤。
22、与现有技术相比，以上一个或多个技术方案存在以下有益效果：
23、由于mr图像大部分用于医学图像处理中，由于数据获取和标注的成本较高，往往只有少量的配对数据可用，与此同时，缺失的模态可能会导致医学图像数据不完整，这会影响后续的临床诊断和科学研究。因此通过将有限的模态图像划分为相互不重叠的块，使每个块包含完整的解剖结构信息，通过随机对齐遮蔽模拟实际医学图像中的差异和缺失，再利用对应的编码器和解码器，重建出两个完整的原本没有被遮挡的模态图像(目标模态的图像)，从而确定权重；运行时利用生成器，得到输入的两个模态图像对应的边缘图并与原始模态图像拼接，进一步提取出特征，再利用先前得到的权重经特征融合，得到合成的第三个模态的图像，能够节省数据配对的时间并且降低mr设备的成本。
本文档来自技高网...【技术保护点】
1.多模态MR图像合成方法，其特征在于，包括以下步骤：
2.如权利要求1所述的多模态MR图像合成方法，其特征在于，基于编码器提取每个模态图像中的对齐标记和相应的位置，具体为：利用每个模态对应的编码器获取该模态图像中的对齐标记和相应的位置，通过共享编码器获取不同模态图像的高维数据编码表示。
3.如权利要求1所述的多模态MR图像合成方法，其特征在于，基于解码器得到目标模态的图像，具体为：通过与共享编码器对应的共享解码器执行跨模态交互，基于特定解码器得到相应目标模态的图像。
4.如权利要求1所述的多模态MR图像合成方法，其特征在于，设定模态的特征表示，通过每个模态对应的编码器的分支实现下采样，每个模态对应的解码器提高特征分辨率，经融合得到得到目标模态的图像。
5.如权利要求4所述的多模态MR图像合成方法，其特征在于，经融合得到得到目标模态的图像，包括：
6.如权利要求4所述的多模态MR图像合成方法，其特征在于，经融合得到得到目标模态的图像，还包括：
7.如权利要求1所述的多模态MR图像合成方法，其特征在于，一致性处
8.多模态MR图像合成系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述多模态MR图像合成方法中的步骤。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如权利要求1-7任一项所述多模态MR图像合成方法中的步骤。
...【技术特征摘要】
1.多模态mr图像合成方法，其特征在于，包括以下步骤：
2.如权利要求1所述的多模态mr图像合成方法，其特征在于，基于编码器提取每个模态图像中的对齐标记和相应的位置，具体为：利用每个模态对应的编码器获取该模态图像中的对齐标记和相应的位置，通过共享编码器获取不同模态图像的高维数据编码表示。
3.如权利要求1所述的多模态mr图像合成方法，其特征在于，基于解码器得到目标模态的图像，具体为：通过与共享编码器对应的共享解码器执行跨模态交互，基于特定解码器得到相应目标模态的图像。
4.如权利要求1所述的多模态mr图像合成方法，其特征在于，设定模态的特征表示，通过每个模态对应的编码器的分支实现下采样，每个模态对应的解码器提高特征分辨率，经融合得到得到目标模态的图像。
5.如权利要求4所述的多模态mr图像合成方法，其特征在于，经融合得到得到...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。