【技术实现步骤摘要】
本公开属于图像处理中的超分辨率，具体涉及一种图像超分辨率重建方法及系统。
技术介绍
1、高分辨率磁共振成像(magnetic resonance imaging，mri)是一种具有精确的前列腺解剖和生理过程的主要医学成像技术。与计算机断层扫描(核成像(ct)等其他成像方式相比，mri不使用电离辐射，这与其他成像方式相比是一个优势，因此可以提供组织结构的详细图像。利用脉冲序列，mri系统可以配置为提供多对比度图像，包括t1、t2和质子密度(pd)加权图像，这些图像可以显示重要的生理和病理特征。然而，在临床应用中，由于扫描设备成本、扫描时间有限、患者不合作等因素，获得高分辨率前列腺mri往往具有挑战性。此外，噪声干扰和采样不足也会导致医学图像传输和存储过程中的图像质量下降。因此，提高采集后图像的质量和分辨率引起了研究的广泛关注。超分辨率是一种很有前途的提高mri质量的技术，而不需要通过从低分辨率mri合成高分辨率mri来升级硬件。
2、近年来，深度学习的最新进展显著提高了医学超分辨率模型的性能。这些深度学习方法由于其具有产生自然外观输出的强大能力，在超分辨率任务中得到了普及。一些研究表明，生成对抗网络在医学超分辨率方面优于其他机器学习算法。生成对抗网络使用感知损失函数，包括对抗性损失和内容损失，来训练生成对抗网络任务的目标。基于生成对抗网络的医学超分辨率方法是克服过度平滑问题的一种开创性技术。它结合了内容丢失(如l1和l2)和对抗性丢失，生成了具有提高视觉质量的hr图像。尽管如此，基于生成对抗网络的医学超分辨率方法仍然会
技术实现思路
1、为解决上述现有技术的不足，本公开提供了一种图像超分辨率重建方法及系统，所述方案利用扩散模型的优势解决基于生成对抗网络的医学超分辨率模型存在的模式崩溃问题，同时，为了恢复更多的高频细节，所述方案先合成残差图像，而不是直接合成高分辨率mri图像，并且在将残差图像引入扩散模型之前，预先利用矢量量化变分自编码器将残差图像转换为序列长度较短的离散图像标记，有效降低了计算复杂度，加快了模型的收敛速度。最后，引入transformer架构，对低分辨率mri图像与残差图像之间的关系进行建模，有效提高了重建图像的保真度。
2、根据本公开实施例的第一方面，提供了一种图像超分辨率重建方法，包括：
3、获取待重建的前列腺mri图像，并通过相应预处理得到第一分辨率mri图像和第二分辨率mri图像；
4、基于所述第一分辨率mri图像和第二分辨率mri图像的差值，获得残差图像；其中，所述第二分辨率低于第一分辨率；
5、以所述残差图像作为预先训练的矢量量化变分自编码器的输入，获得离散图像标记；并基于获得的离散的图像标记，利用预先训练的扩散模型进行离散扩散，获得重建的图像标记；
6、基于重建的图像标记以及第二分辨率mri图像，利用预训练的图像解码模型，获得mri图像的超分辨率重建结果。
7、进一步的，所述图像解码模型包括顺序连接的若干transformer块和一个softmax层，其中，每个transformer块均设置有包含第二分辨率mri图像信息的交叉注意力机制。
8、进一步的，每个transformer块均设置有自适应归一化层，用于将当前的时间步长注入到图像解码模型中。
9、进一步的，所述基于重建的图像标记以及第二分辨率mri图像，利用预训练的图像解码模型，具体为：将重建的图像标记经自适应归一化层输入第一个transformer块；将经编码器提取的第二分辨率mri图像特征直接输入至每个transformer块中。
10、进一步的，所述相应预处理，具体为：基于待重建的前列腺mri图像，通过图像增强获得第一分辨率mri图像；对所述第一分辨率mri图像进行退化处理，获得与所述第一分辨率mri图像相同尺寸的第二分辨率mri图像。
11、进一步的，所述方法通过对第二分辨率mri图像与残差图像之间的关系进行建模，来获得第二分辨率mri图像与合成成像之间的长程依赖关系，实现超分辨率图像的构建。
12、根据本专利技术实施例的第二个方面，提供了一种图像超分辨率重建系统，包括：
13、数据获取单元，其用于获取待重建的前列腺mri图像，并通过相应预处理得到第一分辨率mri图像和第二分辨率mri图像；
14、残差图像获取单元，其用于基于所述第一分辨率mri图像和第二分辨率mri图像的差值，获得残差图像；其中，所述第二分辨率低于第一分辨率；
15、离散处理单元，其用于以所述残差图像作为预先训练的矢量量化变分自编码器的输入，获得离散图像标记；并基于获得的离散的图像标记，利用预先训练的扩散模型进行离散扩散，获得重建的图像标记；
16、超分辨率重建单元，其用于基于重建的图像标记以及第二分辨率mri图像，利用预训练的图像解码模型，获得mri图像的超分辨率重建结果。
17、根据本专利技术实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种图像超分辨率重建方法。
18、根据本专利技术实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种图像超分辨率重建方法。
19、以上一个或多个技术方案存在以下有益效果：
20、(1)本公开一种图像超分辨率重建方法及系统，所述方案利用扩散模型的优势解决基于生成对抗网络的医学超分辨率模型存在的模式崩溃问题，同时，为了恢复更多的高频细节，所述方案先合成残差图像，而不是直接合成高分辨率mri图像，并且在将残差图像引入扩散模型之前，预先利用矢量量化变分自编码器将残差图像转换为序列长度较短的离散图像标记，有效降低了计算复杂度，加快了模型的收敛速度。最后，引入transformer架构，对低分辨率mri图像与残差图像之间的关系进行建模，有效提高了重建图像的保真度。
21、(2)所述方案并非一次性生成高分辨率图像，而是通过反向迭代去噪来合成图像，从而保留了更多的高分辨率图像的纹理和细节信息；因此，本公开所述方案可以产生更高的分辨率和质量的输出，进而辅助提高医生诊断的准确性。
22、(3)所述方案通过合成残差图像而不是直接生成高分辨率mri图像，提高了网络训练的稳定性和收敛速度，使模型能够更专注于恢复高分辨率前列腺mri的高频细节。
23、(4)所述方案集成了变压器(transformer)架构，对低分辨率mri图像与残差图像之间的关系进行建模，可以捕获低分辨率mri图像与合成成像之间的长程依赖关系，恢复高分辨率mri的高频细节。
24、(5)所述方案提供的遮蔽和替换的指导策略，使网络易于识别，简化了反向扩散过程。并且随机令牌替换迫使网络理解全局上下文本文档来自技高网...
【技术保护点】
1.一种图像超分辨率重建方法，其特征在于，包括：
2.如权利要求1所述的一种图像超分辨率重建方法，其特征在于，所述图像解码模型包括顺序连接的若干Transformer块和一个Softmax层，其中，每个Transformer块均设置有包含第二分辨率MRI图像信息的交叉注意力机制。
3.如权利要求2所述的一种图像超分辨率重建方法，其特征在于，每个Transformer块均设置有自适应归一化层，用于将当前的时间步长注入到图像解码模型中。
4.如权利要求3所述的一种图像超分辨率重建方法，其特征在于，所述基于重建的图像标记以及第二分辨率MRI图像，利用预训练的图像解码模型，具体为：将重建的图像标记经自适应归一化层输入第一个Transformer块；将经编码器提取的第二分辨率MRI图像特征直接输入至每个Transformer块中。
5.如权利要求1所述的一种图像超分辨率重建方法，其特征在于，所述相应预处理，具体为：基于待重建的前列腺MRI图像，通过图像增强获得第一分辨率MRI图像；对所述第一分辨率MRI图像进行退化处理，获得与所述第一分辨率M
6.如权利要求1所述的一种图像超分辨率重建方法，其特征在于，所述方法通过对第二分辨率MRI图像与残差图像之间的关系进行建模，来获得第二分辨率MRI图像与合成成像之间的长程依赖关系，实现超分辨率图像的构建。
7.一种图像超分辨率重建系统，其特征在，包括：
8.如权利要求7所述的一种图像超分辨率重建系统，其特征在于，所述图像解码模型包括顺序连接的若干Transformer块和一个Softmax层，其中，每个Transformer块均设置有包含第二分辨率MRI图像信息的交叉注意力机制。
9.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的一种图像超分辨率重建方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的一种图像超分辨率重建方法。
...【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括：
2.如权利要求1所述的一种图像超分辨率重建方法，其特征在于，所述图像解码模型包括顺序连接的若干transformer块和一个softmax层，其中，每个transformer块均设置有包含第二分辨率mri图像信息的交叉注意力机制。
3.如权利要求2所述的一种图像超分辨率重建方法，其特征在于，每个transformer块均设置有自适应归一化层，用于将当前的时间步长注入到图像解码模型中。
4.如权利要求3所述的一种图像超分辨率重建方法，其特征在于，所述基于重建的图像标记以及第二分辨率mri图像，利用预训练的图像解码模型，具体为：将重建的图像标记经自适应归一化层输入第一个transformer块；将经编码器提取的第二分辨率mri图像特征直接输入至每个transformer块中。
5.如权利要求1所述的一种图像超分辨率重建方法，其特征在于，所述相应预处理，具体为：基于待重建的前列腺mri图像，通过图像增强获得第一分辨率mri图像；对所述第一分辨率...
【专利技术属性】
技术研发人员：黄文慧，韩志涛，郑元杰，巩庆涛，朱瑞，史云峰，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。