基于预训练和微调的三维图像超分辨率方法、系统、终端及介质技术方案

本申请提供基于预训练和微调的三维图像超分辨率方法、系统、终端及介质，包括获取视频图像数据集，基于所述视频图像数据集对初始图像超分辨率模型进行预训练，以获得第一图像超分辨率模型；对所述第一图像超分辨率模型进行微调训练，以获得目标图像超分辨率模型，基于所述目标图像超分辨率模型获得目标超分辨率图像。本发明专利技术通过在易于获取的序列数据(例如高质量的公开视频数据集)上进行预训练，使初始图像超分辨率模型具有高性能和高泛化性；然后在医学图像(临床)数据上进行微调训练，使获得的图像超分辨率模型能够更好地适应于临床场景和医学图像数据，且通过最终的图像超分辨率模型可以获得高质量的超分辨率图像。

【技术实现步骤摘要】

本申请涉及人工智能，特别是涉及基于预训练和微调的三维图像超分辨率方法、系统、终端及介质。

技术介绍

1、目前，在医学图像领域，三维图像得到广泛应用，例如ct(computed tomography，电子计算机断层扫描)、磁共振成像(magnetic resonance imaging，mri)等。以mri为例，为了更快速地获取图像，在临床实践中大量采用二维序列，即采集对应人体不同位置的二维断层图像(切片)，再将其堆叠形成三维图像体数据。然而，与细粒度的层内分辨率相比，这种三维图像通常在层与层之间存在较大的间距。此时，从三维空间来看，图像中每个体素的空间分辨率是各向异性的。这种在分辨率上的缺陷，对于图像的可视化以及许多图像处理软件(往往要求输入图像是各向同性的)造成了挑战。

2、深度学习在解决三维图像超分辨率问题时有广泛的应用，尤其是进行层间超分辨率，压缩二维图层之间较大的间距。该技术的核心思想是利用神经网络来学习低分辨率图像(例如具有较大层间距的mri图像)到高分辨率图像(具有较小层间距的mri图像)的映射。在建立上述映射关系之后，就可以将低分本文档来自技高网...

【技术保护点】

1.一种基于预训练和微调的三维图像超分辨率方法，其特征在于，包括：

2.根据权利要求1所述的基于预训练和微调的三维图像超分辨率方法，其特征在于，所述微调训练包括：有监督微调训练、自监督微调训练中的任一种或多种组合。

3.根据权利要求1所述的基于预训练和微调的三维图像超分辨率方法，其特征在于，基于所述视频图像数据集对初始图像超分辨率模型进行预训练的具体过程包括：

4.根据权利要求1所述的基于预训练和微调的三维图像超分辨率方法，其特征在于，对所述第一图像超分辨率模型进行微调训练，以获得目标图像超分辨率模型的具体过程包括：

5.根据权利要求3所述...

【技术特征摘要】

1.一种基于预训练和微调的三维图像超分辨率方法，其特征在于，包括：

2.根据权利要求1所述的基于预训练和微调的三维图像超分辨率方法，其特征在于，所述微调训练包括：有监督微调训练、自监督微调训练中的任一种或多种组合。

3.根据权利要求1所述的基于预训练和微调的三维图像超分辨率方法，其特征在于，基于所述视频图像数据集对初始图像超分辨率模型进行预训练的具体过程包括：

4.根据权利要求1所述的基于预训练和微调的三维图像超分辨率方法，其特征在于，对所述第一图像超分辨率模型进行微调训练，以获得目标图像超分辨率模型的具体过程包括：

5.根据权利要求3所述的基于预训练和微调的三维图像超分辨率方法，其特征在于，...

【专利技术属性】
技术研发人员：王乾，王欣，沈定刚，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：