一种基于生成对抗网络的多监督图像超分辨重建方法技术

本发明专利技术公开了一种基于生成对抗网络的多监督图像超分辨重建方法，将同一切片的不同分辨率的切片图像进行配准；利用配准后的切片图像制作训练数据集；在训练数据集上，使用多监督多阶段生成模型训练生成对抗模型；利用训练好的生成对抗模型，将低分辨图像重建为高分辨图像。本发明专利技术将低倍镜下拍摄的图像重建为高分辨率的图像，既能够节省成像时间又能够节省存储图像的硬件空间，克服常见方法在病理数据上的模糊及伪影。

A Super-Resolution Reconstruction Method for Multi-Supervised Images Based on Generating Countermeasure Network

【技术实现步骤摘要】
一种基于生成对抗网络的多监督图像超分辨重建方法
本专利技术属于图像处理
，更具体地，具体涉及一种基于生成对抗网络的多监督图像超分辨重建方法，尤其适用于病理切片图像。
技术介绍
目前细胞显微图像需要物镜在20x及以上的放大倍数才能够清晰成像，但是成图时间长，需要的存储空间大。4x物镜下的成像速度快，对设备精度要求低。但是4x物镜下的成像分辨率低、景深大，成像不具备实用性。如果在低倍镜下拍摄的图像能够重建出高分辨率的图像，既能够节省成像时间又能够节省存储图像的硬件空间。国内外一些研究者提出了基于学习或基于实例的超分辨的概念。该类方法的基本思想是通过学习获得先验知识来重建图像，但效果有限。近年来，基于深度学习的超分辨方法效果显著，但是绝大部分模型基于退化数据，对于从真实世界采集的不同分辨率的图像，应用有一定限制。综上所述，低倍物镜成像超分辨具有很大实用性，但各种超分辨重建方法在病理数据上效果有限。
技术实现思路
针对现有技术的不足，本专利技术提出了一种基于生成对抗网络的图像超分辨重建方法，其目的在于，克服常见方法在病理数据上的模糊及伪影，将低倍镜下拍摄的图像重建为高分辨率的图像，既能够节省成像时间又能够节省存储图像的硬件空间。一种基于生成对抗网络的多监督图像超分辨重建方法，将低分辨率图像输入生成对抗网络模型，生成对抗网络模型输出高分辨率图像，所述生成对抗网络模型按照如下方式构建：(1)制作训练数据集提取同一目标成像区域的低分辨率图像和高分辨率图像，分别在低分辨率图像和高分辨率图像中选取前景区域L、H，对区域L和H进行配准，获得同一区域的高低分辨率Patch(L，H)；(2)训练模型构建包括生成器和鉴别器的生成对抗网络模型，将Patch(L，H)中的低分辨率图像L作为生成器的输入，生成器输出与Patch(L，H)中的高分辨率图像H相似的图像H’，鉴别器鉴别图像H和H’的真伪，如此反复学习和对抗，训练得到生成器。进一步地，所述生成对抗模型采用的损失函数为：LG＝Lmse+α*Lp+β*Ladver其中，Lmse是均方误差，Lp是感知损失，Ladver是生成器对抗损失，LD是鉴别器对抗损失LG是生成器总损失函数；N是样本数量，C,H,W为图像尺寸，x{n}为第n个样本，I{n}为低分辨率图像x{n}对应的高分辨图像，y是真实高分辨图像的标签；Gθ，DΘ分别对应生成器和鉴别器，Φ是预训练好的vgg模型，其输出的是特征图；α，β平衡各项损失函数。进一步地，所述步骤(1)制作训练数据集的具体实施方式为：(11)粗配准将低分辨率图像划分为多个子区域，通过子区域坐标与倍数相乘将各子区域映射到高分辨率图像，所述倍数为高分辨率图像相对于低分辨率图像的放大倍数；对高分辨率图像中映射确定的子区域进行冗余扩展，扩大边界；逐一对低分辨率图像中的子区域与其在高分辨率图像中映射的子区域进行相关性匹配，获取相关性最大时的子区域坐标偏移量；对所有子区域坐标偏移量求平均，得到低分辨率图像到高分辨率图像的粗配准坐标偏移量；使用粗配准所得的坐标偏移量校正低、高分辨率图像之间的误差；(12)精配准在低分率图像中选取前景区域L，将该区域后映射到校正后的高分辨率图像中，记为区域R；对高分辨率图像中的区域R进行冗余扩展，扩大R的边界；使用基于相关性的模板匹配在R上寻找L对应的区域H，取(L,H)为样本对，获得一对数据Patch(L，H)。进一步地，所述生成器使用带有残差结构的卷积神经网络，所述鉴别器采用VGG模型。一种基于生成对抗网络的多监督图像超分辨重建方法，将低分辨率图像输入生成对抗网络模型，生成对抗网络模型输出高分辨率图像，所述生成对抗网络模型按照如下方式构建：(1)制作训练样本集提取同一目标成像区域的低分辨率图像、中间分辨率图像和高分辨率图像；在低分辨率图像中选取前景区域L，并将该区域映射到中间和高分辨率图像对应的区域B、C；对L、B区域进行配准，获得样本对(L，M)；对L、C区域进行配准，获得样本对(L，H)；依据(L，M)和(L，H)构建样本(L，M，H)；(2)训练模型构建包括第一生成器和第一鉴别器的对抗网络模型，将样本(L，M，H)中的低分辨率图像L作为第一生成器的输入，第一生成器输出与中间分辨率图像M相似的图像M’，第一鉴别器鉴别图像M和M’的真伪，如此反复学习和对抗，训练得到第一生成器；构建包括第二生成器和第二鉴别器的对抗网络模型，将第一生成器的输出M’作为第二生成器的输入，第二生成器输出与高分辨率图像H相似的图像H’，第二鉴别器鉴别图像H和H’的真伪，如此反复学习和对抗，训练得到第二生成器；对第一生成器和第二生成器再做联合训练，最终确定第一生成器和第二生成器。进一步地，所述步骤(1)制作训练样本对的具体实施方式为：(11)低到中的粗配准将低分辨率图像划分为多个子区域，通过子区域坐标与第一倍数乘积将各子区域映射到高分辨率图像，所述第一倍数为中分辨率图像相对于低分辨率图像的放大倍数；对中分辨率图像中映射确定的子区域进行冗余扩展，扩大边界；逐一对低分辨率图像中的子区域与其在中分辨率图像中映射的子区域进行相关性匹配，获取相关性最大时的第一子区域坐标偏移量；对所有第一子区域坐标偏移量求平均，得到低分辨率图像到中间分辨率图像的第一粗配准坐标偏移量；使用第一粗配准坐标偏移量校正低、中间分辨率图像之间的误差；(12)中到高的粗配准将中分辨率图像划分为多个子区域，通过子区域坐标与第二倍数乘积将各子区域映射到高分辨率图像，所述第二倍数为高分辨率图像相对于中分辨率图像的放大倍数；对高分辨率图像中映射确定的子区域进行冗余扩展，扩大边界；逐一对中分辨率图像中的子区域与其在高分辨率图像中映射的子区域进行相关性匹配，获取相关性最大时的第二子区域坐标偏移量；对所有第二子区域坐标偏移量求平均，得到低分辨率图像到高分辨率图像的第二粗配准坐标偏移量；使用第二粗配准坐标偏移量校正中、高分辨率图像之间的误差；(13)精配准在低分辨率图像中选取前景区域L，将该区域分别映射到校正后的中间和高分辨率图像，记为区域B、C；使用基于相关性的模板匹配在B上寻找L对应的区域M，获得样本对(L，M)；使用基于相关性的模板匹配在C上寻找L对应的区域H，对L、C区域进行配准，获得样本对(L，H)；依据(L，M)和(L，H)构建样本(L，M，H)。进一步地，所述学习对抗训练采用的损失函数为：LG＝Lmse+α*Lp+β*Ladver其中，Lmse是均方误差，Lp是感知损失，Ladver是生成器的对抗损失，LD是鉴别器的对抗损失，LG是生成器总损失函数；N是样本数量，C,H,W为图像尺寸，x{n}为第n个样本，I{n}为低分辨率图像x{n}对应的高分辨图像，y是真实高分辨图像的标签；Gθ，DΘ分别对应生成器和鉴别器，Φ是预训练好的vgg模型，其输出的是特征图；α，β平衡各项损失函数。本专利技术的有益技术效果体现在：(1)本专利技术采用对抗网络训练生成器，从而将低分辨率图像重建到高分辨率，能够仅从低分辨率图像获得与高倍物镜拍摄效果接近的高分辨率图像，能够节省大量的切片扫描时间和硬件成本，有效地解决了病理图像超分辨重建模糊和伪影的问题。(2)优选的，本专利技术提出的基于生成对抗式模型的超分辨方法，在配准良好本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的多监督图像超分辨重建方法，将低分辨率图像输入生成对抗网络模型，生成对抗网络模型输出高分辨率图像，其特征在于，所述生成对抗网络模型按照如下方式构建：(1)制作训练数据集提取同一目标成像区域的低分辨率图像和高分辨率图像，分别在低分辨率图像和高分辨率图像中选取前景区域L、H，对区域L和H进行配准，获得同一区域的高低分辨率Patch(L，H)；(2)训练模型构建包括生成器和鉴别器的生成对抗网络模型，将Patch(L，H)中的低分辨率图像L作为生成器的输入，生成器输出与Patch(L，H)中的高分辨率图像H相似的图像H’，鉴别器鉴别图像H和H’的真伪，如此反复学习和对抗，训练得到生成器。

【技术特征摘要】
1.一种基于生成对抗网络的多监督图像超分辨重建方法，将低分辨率图像输入生成对抗网络模型，生成对抗网络模型输出高分辨率图像，其特征在于，所述生成对抗网络模型按照如下方式构建：(1)制作训练数据集提取同一目标成像区域的低分辨率图像和高分辨率图像，分别在低分辨率图像和高分辨率图像中选取前景区域L、H，对区域L和H进行配准，获得同一区域的高低分辨率Patch(L，H)；(2)训练模型构建包括生成器和鉴别器的生成对抗网络模型，将Patch(L，H)中的低分辨率图像L作为生成器的输入，生成器输出与Patch(L，H)中的高分辨率图像H相似的图像H’，鉴别器鉴别图像H和H’的真伪，如此反复学习和对抗，训练得到生成器。2.根据权利要求1所述的基于生成对抗网络的多监督图像超分辨重建方法，其特征在于，所述生成对抗模型采用的损失函数为：LG＝Lmse+α*Lp+β*Ladver其中，Lmse是均方误差，Lp是感知损失，Ladver是生成器对抗损失，LD是鉴别器对抗损失LG是生成器总损失函数；N是样本数量，C,H,W为图像尺寸，x{n}为第n个样本，I{n}为低分辨率图像x{n}对应的高分辨图像，y是真实高分辨图像的标签；Gθ，DΘ分别对应生成器和鉴别器，Φ是预训练好的vgg模型，其输出的是特征图；α，β平衡各项损失函数。3.根据权利要求1所述的基于生成对抗网络的多监督图像超分辨重建方法，其特征在于，所述步骤(1)制作训练数据集的具体实施方式为：(11)粗配准将低分辨率图像划分为多个子区域，通过子区域坐标与倍数相乘将各子区域映射到高分辨率图像，所述倍数为高分辨率图像相对于低分辨率图像的放大倍数；对高分辨率图像中映射确定的子区域进行冗余扩展，扩大边界；逐一对低分辨率图像中的子区域与其在高分辨率图像中映射的子区域进行相关性匹配，获取相关性最大时的子区域坐标偏移量；对所有子区域坐标偏移量求平均，得到低分辨率图像到高分辨率图像的粗配准坐标偏移量；使用粗配准所得的坐标偏移量校正低、高分辨率图像之间的误差；(12)精配准在低分率图像中选取前景区域L，将该区域后映射到校正后的高分辨率图像中，记为区域R；对高分辨率图像中的区域R进行冗余扩展，扩大R的边界；使用基于相关性的模板匹配在R上寻找L对应的区域H，取(L,H)为样本对，获得一对数据Patch(L，H)。4.根据权利要求1或2或3所述的基于生成对抗网络的多监督图像超分辨方法，其特征在于，所述生成器使用带有残差结构的卷积神经网络，所述鉴别器采用VGG模型。5.一种基于生成对抗网络的多监督图像超分辨重建方法，将低分辨率图像输入生成对抗网络模型，生成对抗网络模型输出高分辨率图像，其特征在于，所述生成对抗网络模型按照如下方式构建：(1)制作训练样本集提取同一目标成像区域的低分辨率图像、中间分辨率图像和高分辨率图像；在低分辨率图像中选取前景区域L，并将该区域映射到中间和高分辨率图像对应的区域B、C；对L、B区域进行配准，获得样本对(L，M)；对L、C区域进行配准，获得样本...

【专利技术属性】
技术研发人员：程胜华，曾绍群，马嘉波，余静雅，刘秀丽，余江盛，
申请(专利权)人：怀光智能科技武汉有限公司，
类型：发明
国别省市：湖北,42