【技术实现步骤摘要】
一种基于生成对抗网络的图像融合方法、系统及存储介质
本专利技术属于图像处理
,更具体地,涉及一种基于生成对抗网络的图像融合方法、系统及存储介质。
技术介绍
图像融合的目的是将多个输入图像融合成一张融合图像,与任何一张单独的输入图像相比较,该融合图像都能够为人或者机器感知提供更多的信息,包含更多信息以及更加清晰的融合图像有利于宫颈癌细胞病理切片的进一步处理。目前宫颈癌细胞病理切片在光学显微成像系统下,通过设置光学透镜的焦距,只有在景深范围内的物体在图像中清晰可见,其它地方一般模糊不清,因此,为了获得更大景深范围内的图像,通常会调整焦距拍摄多张图像进行融合来获得更大景深范围且清晰的图像。然而多次调整焦距进行病理切片的拍摄十分耗时,且融合图像质量根据融合算法的不同而效果各异。因此,通过少数几张不同焦点的切片图像在短时间内生成质量较好的融合图像是有意义的。传统的基于变换域和空间域的融合算法,可以获得高质量的融合图像,但是由于不准确的融合决策映射,它们仍然可能会丢失一些输入图像的信息。近年来随着卷积神经网络在图像处理领域 ...
【技术保护点】
1.一种基于生成对抗网络的图像融合方法,其特征在于,包括步骤:/n利用样本集预训练模糊区域识别模型,所述模糊区域识别模型的输出为对所述样本集中每张图像样本标记出模糊区域的掩码图像,其中,所述样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签I
【技术特征摘要】
1.一种基于生成对抗网络的图像融合方法,其特征在于,包括步骤:
利用样本集预训练模糊区域识别模型,所述模糊区域识别模型的输出为对所述样本集中每张图像样本标记出模糊区域的掩码图像,其中,所述样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签Ir;
将所述图像样本与对应的所述掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行训练,所述融合模型包括生成器和判别器,所述生成器输出融合图像If,将所述融合图像标签Ir和所述融合图像If输入到所述判别器进行对抗训练;
所述对抗训练中,将融合图像If和融合图像标签Ir输入判别器,输出概率值图像,对所述概率值图像中每个像素点计算交叉熵,然后取所有像素点交叉熵的最大值作为所述判别器的损失;
将待融合的图像输入到训练好的所述模糊区域识别模型和所述融合模型,生成融合图像。
2.如权利要求1所述的一种基于生成对抗网络的图像融合方法,其特征在于,所述利用所述样本集预训练模糊区域识别模型包括步骤:
从所述样本集中选取图像样本,对选取的图像样本的模糊区域进行手工标记,手工标记后的图像样本构成了标记数据集;
从所述融合图像标签Ir中选取图像样本,在选取的图像样本上选取随机区域进行高斯模糊,经过高斯模糊后的图像样本构成了退化数据集;
利用所述标记数据集和退化数据集预训练模糊区域识别模型。
3.如权利要求1或2所述的一种基于生成对抗网络的图像融合方法,其特征在于,所述模糊区域识别模型为以残差模块与空洞卷积模块构成的语义分割网络。
4.如权利要求3所述的一种基于生成对抗网络的图像融合方法,其特征在于,所述预训练模糊区域识别模型中,将所述标记数据集与所述退化数据集混合作为每一轮训练的数据,在每轮训练前,将训练数据集做一次随机打乱操作。
5.如权利要求1或2所述的一种基于生成对抗网络的图像融合方法,其特征在于,所述生成器由编码模块、底层卷积模块与解码模块串...
【专利技术属性】
技术研发人员:曾绍群,余江胜,程胜华,刘秀丽,耿协博,
申请(专利权)人:怀光智能科技武汉有限公司,
类型:发明
国别省市:湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。