一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法技术

本发明专利技术揭示了一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，包括如下步骤：图像划分，随机选取第一比例的原图组成训练集，其余第二比例的原图组成带有真值的测试集；图像预处理，将训练集和测试集中所有图像的灰度归一化；网络构建，选择循环生成对抗网络作为整体网络架构,构建自适应掩膜网络；网络训练，利用训练集中预处理后的图像进行网络训练；质量测试，将测试集中预处理后的图像输入至上述训练好的网络，对测试集中的图像进行模态转换，得到转换后的图像，并与真值进行比较。本发明专利技术能够实现模态转换后的结果可以同时拥有目标域的模态属性和参考图的外观灰度属性，同时保证图像转换前后拓扑结构的一致性。致性。致性。

【技术实现步骤摘要】
一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法


[0001]本专利技术涉及图像处理领域，特别是涉及一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法。

技术介绍

[0002]图像之间的模态转换是现阶段深度学习领域重点研究的任务之一。在该任务中我们将一幅图像从一个模态映射到该图像对应的另一个模态，例如通过MR脑图像的T1模态得到该脑图像的T2模态图。Zhu等人在2017年提出了图像到图像的转换网络，将条件生成对抗网络运用在图像转换任务中；同年Zhu等人在此基础上提出了循环生成对抗网络(CycleGAN)，通过额外添加一对生成器和判别器构成循环一致结构并在训练阶段增加循环一致损失，彻底解决了图像到图像转换任务需要真值的问题，做到了无监督的图像模态转换。
[0003]然而，现有的利用CycleGAN等生成对抗网络模型做医学图像模态转换的工作往往不能保证转换前后的医学图像拓扑结构严格一致，而且转换结果只有一种灰度特征，但是真实情况是不同的设备和参数可能会产生多种多样的灰度特征，存在一定的缺陷。

技术实现思路

[0004]本专利技术的目的在于，提供一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，以实现模态转换后的结果可以同时拥有目标域的模态属性和参考图的外观灰度属性，同时保证图像转换前后拓扑结构的一致性。
[0005]为解决上述技术问题，本专利技术提供一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，包括如下步骤：
[0006]图像划分，随机选取第一比例的原图组成训练集，其余第二比例的原图组成带有真值的测试集；
[0007]图像预处理，将训练集和测试集中所有图像的灰度归一化；
[0008]网络构建，网络构建，选择循环生成对抗网络作为整体网络架构,构建自适应掩膜网络；
[0009]网络训练，利用训练集中预处理后的图像进行网络训练；
[0010]质量测试，将测试集中预处理后的图像输入至上述训练好的网络，对测试集中的图像进行模态转换，得到转换后的图像，并与真值进行比较。
[0011]进一步的，所述整体网络架构包括掩膜特征生成模块、Unet编解码器以及PatchGAN判别器。
[0012]进一步的，所述网络训练的具体步骤包括：
[0013]将训练集输入到Unet编解码器做特征提取，在跳跃连接处得到多尺度特征图；
[0014]将掩膜特征生成模块插入到Unet编解码器的跳跃连接处对测试集的多尺度特征
图进行调制，获得多尺度掩膜特征图；
[0015]将得到的多尺度掩膜特征图在Unet编解码器的解码阶段逐步融合，并通过卷积变成单通道的自适应掩膜，将其与原图直接相加得到转换图；
[0016]将生成的转换图作为假样本，从测试集中随机选择一张图作为真样本，固定生成器的同时训练判别器，使其能判断输入图像的真假；然后固定判别器，训练生成器使其生成的转换图无法被判别器判断真假，按照生成对抗网络训练方式重复以上步骤。
[0017]进一步的，所述训练集以及所述测试集数据包括两个模态，同一个数据的两个模态之间的差异只存在与外观灰度，且拓扑结构一致。
[0018]进一步的，所述掩膜特征生成模块有三个输入，分别是：输入待调制特征图、待转换原图和参考图。
[0019]进一步的，所述掩膜特征生成模块根据输入待调制特征图的尺度对待转换原图做插值操作并在相同尺度做特征提取。
[0020]进一步的，所述多尺度特征图调制步骤包括如下步骤：
[0021]根据输入的待调制特征图尺度将原图插值到与输入向量相同尺度然后送入CNN提取该尺度的调制掩膜特征图，并通过卷积调制掩膜特征图分别得到均值、方差矩阵；
[0022]将参考图输入预训练的VGG网络得到相同尺度的参考特征图，并计算其均值和方差；
[0023]利用得到的均值、方差对均值方差矩阵做自适应实例归一化；
[0024]最后将均值、方差矩阵与调制掩膜特征图做空间自适应归一化得到多尺度掩膜特征图。
[0025]进一步的，所述转换图是由掩膜与原图直接相加得到的。
[0026]相比于现有技术，本专利技术至少具有以下有益效果：
[0027]本专利技术提出的自适应掩膜生成模块使构建的掩膜可以自适应地根据特定的参考图对医学图像进行外观调整，使模态转换后的结果可以同时拥有目标域的模态属性和参考图的外观灰度属性，该模块可以灵活地嵌入任意特征提取网络中工作。另外通过掩膜引导的医学图像模态转换方法可以使医学图像完成模态转换的同时保持解剖结构严格一致。
附图说明
[0028]图1为本专利技术基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法的流程图；
[0029]图2为本专利技术基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法的模态转换网络结构示意图；
[0030]图3为本专利技术基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法的模态转换网络中MFGM模块示意图；
[0031]图4为本专利技术基于循环生成对抗网络的自适应掩膜引导的循环对抗网络架构图；
[0032]图5为本专利技术基于循环生成对抗网络的自适应掩膜引导的转换结果对比示意图；
[0033]图6为本专利技术基于循环生成对抗网络的自适应掩膜引导的不同参考图对应得转换结果示意图。
具体实施方式
[0034]下面将结合示意图对本专利技术的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限制。
[0035]在下列段落中参照附图以举例方式更具体地描述本专利技术。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的。
[0036]如图1所示，本专利技术实施例提出了一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，包括如下步骤：
[0037]图像划分，随机选取第一比例的原图组成训练集，其余第二比例的原图组成带有真值的测试集；
[0038]图像预处理，将训练集和测试集中所有图像的灰度归一化；
[0039]网络构建，网络构建，选择循环生成对抗网络作为整体网络架构,构建自适应掩膜网络；
[0040]网络训练，利用训练集中预处理后的图像进行网络训练；
[0041]质量测试，将测试集中预处理后的图像输入至上述训练好的网络，对测试集中的图像进行模态转换，得到转换后的图像，并与真值进行比较。
[0042]以下列举所述基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法的在医学图像处理中的较优实施例，以清楚的说明本专利技术的内容，应当明确的是，本专利技术的内容并不限制于以下实施例，其他通过本领域普通技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，包括如下步骤：图像划分，随机选取第一比例的原图组成训练集，其余第二比例的原图组成带有真值的测试集；图像预处理，将训练集和测试集中所有图像的灰度归一化；网络构建，选择循环生成对抗网络作为整体网络架构,构建自适应掩膜网络；网络训练，利用训练集中预处理后的图像进行网络训练；质量测试，将测试集中预处理后的图像输入至上述训练好的网络，对测试集中的图像进行模态转换，得到转换后的图像，并与真值进行比较。2.如权利要求1所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述整体网络架构包括掩膜特征生成模块、Unet编解码器以及PatchGAN判别器。3.如权利要求1所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述网络训练的具体步骤包括：将训练集输入到Unet编解码器做特征提取，在跳跃连接处得到多尺度特征图；将掩膜特征生成模块插入到Unet编解码器的跳跃连接处对测试集的多尺度特征图进行调制，获得多尺度掩膜特征图；将得到的多尺度掩膜特征图在Unet编解码器的解码阶段逐步融合，并通过卷积变成单通道的自适应掩膜，将其与原图直接相加得到转换图；将生成的转换图作为假样本，从测试集中随机选择一张图作为真样本，固定生成器的同时训练判别器，使其能判断输入图像的真假；然后固定判别器，训练生成器使其生成的转换图无法被判别器...

【专利技术属性】
技术研发人员：文颖，王梓成，王雯，李占领，
申请(专利权)人：华平信息技术股份有限公司，
类型：发明
国别省市：