一种跨模态图像的合成方法技术

本发明专利技术公开了一种跨模态图像的合成方法，包括：S1：接收不同模态的数据集，对各数据集中的图像数据进行预处理；S2：基于GAN神经网络中的GAN生成器和GAN判别器，将空洞卷积网络嵌入到U‑Net网络中形成Du‑Net生成器；S3：将训练集中的第一模态图像数据、第二模态图像数据输入到Du‑Net生成器中，得到第二合成模态图像数据；S4：将第二合成模态图像数据和第二模态图像数据输入到GAN判别器，生成跨模态图像合成模型；S4：将第一模态图像数据、第二模态图像数据输入到跨模态图像合成模型中，输出第二合成模态图像数据。本发明专利技术通过以GAN结构改进的Du‑Net生成器，有效提升伪模态图像的可信度，尤其是减小了伪模态图像与真实模态图像之间的平均绝对误差。

【技术实现步骤摘要】
一种跨模态图像的合成方法
本专利技术涉及图像处理技术，尤其涉及一种跨模态图像的合成方法。
技术介绍
医学影像的发展一直致力于为医护人员提供精准和全面的诊断信息。病患身体因疾病导致的形态或功能异常表现在各个方面，本申请专利技术人发现，目前的单一模态成像设备获取的信息往往无法全面反映疾病的复杂特征，因此多模态融合及综合辅助诊断已成为医学成像技术发展的重要趋势。不同模态图像有其各自的优缺点和适用范围，临床诊断中常用的医学模态包括但不局限于计算机断层扫描、磁共振成像、正电子发射型计算机断层扫描以及包括超声成像在内的各类声学、光学成像模态。本申请专利技术人发现，若是将已有的医学图像通过跨模态合成，得到不同模态图像，从而实现多模态融合及综合辅助诊断，将帮助医护人员更好地获得多模态图像信息从而提高诊断效果和效率。
技术实现思路
本申请实施例通过提供一种跨模态图像的合成方法，解决了现有技术中单个医学影像诊断效果以及效率低下的问题，通过合成不同模态的医学影像来提高医护人员的诊断效果和效率。本申请实施例提供了一种跨模态图像的合成方法，包括步骤：S1：接收不同模态的数据集，对各所述数据集中的图像数据进行预处理，分别输出第一模态图像数据、第二模态图像数据的训练集和测试集；S2：基于GAN神经网络中的GAN生成器和GAN判别器，将空洞卷积网络嵌入到U-Net网络中形成Du-Net生成器；S3：将所述训练集中的所述第一模态图像数据、所述第二模态图像数据输入到Du-Net生成器中，提取并融合所述第一模态图像数据在GAN结构上下采样层中的特征数据，得到第二合成模态图像数据；S4：将所述第二合成模态图像数据和所述第二模态图像数据输入到所述GAN判别器，经过多次判别迭代训练，生成跨模态图像合成模型；S5：将所述测试集中的所述第一模态图像数据、第二模态图像数据输入到所述跨模态图像合成模型中，直接输出与所述第二模态图像数据一致的第二合成模态图像数据。进一步地，所述步骤S1中，对各所述数据集中的若干图像数据进行预处理的方法包括：S11：对数据集中的若干图像数据进行归一化处理；S12：利用OpenCV对图像数据进行识别生成Mask图，通过图像数据与Mask图进行与运算，裁剪去除图像数据中像素值为0的边框；S13：利用N3偏置场校正算法对各模态图像数据进行强度均匀校正。进一步地，所述步骤S2中的Du-Net生成器包括Du-Net编码器、Du-Net解码器，所述第一模态图像数据依次经过所述Du-Net编码器和所述Du-Net解码器后，实现特征数据的提取，后通过相应层级的特征数据的维度相加，实现所述第二合成模态图像数据的融合。进一步地，所述Du-Net编码器包括5个下采样层，各所述下采样层包含两个3*3的第一卷积层，各所述第一卷积层中包含一个空洞卷积，通过所述空洞卷积实现线性修正单元组成的激活函数ReLU和批量归一化处理的运算，提取所述第一模态图像数据的第一特征数据。进一步地，所述Du-Net解码器包括5个上采样层，各所述上采样层包含两个3*3卷积运算层和LeakyReLU激活函数，通过反卷积运算处理，提取所述第一模态图像数据的第二特征数据。进一步地，将所述第一特征数据和所述第二特征数据按照采样层级配对方法进行维度相加，实现所述第二合成模态图像数据的融合。进一步地，所述步骤S3中的GAN判别器包括5个第三卷积层；通过所述第三卷积层接收第二合成模态图像数据和第二模态图像数据后，先批量归一化处理，然后利用判别损失函数对所述第二合成模态图像数据进行分类，当与第二模态图像数据一致时，输出第二合成模态图像数据，否则返回GAN生成器重新合成后，再进行判别。进一步地，所述步骤S2中，所述GAN神经网络利用随机梯度下降算法SGD和学习率衰减优化梯度下降过程训练GAN神经网络。进一步地，所述步骤S4中，迭代训练所述GAN神经网络时，以上次迭代保存的模型权重作为参考依据，训练并验证当前模型权重，以便生成适配的所述跨模态图像合成模型。进一步地，所述步骤S5之后还包括，利用轴向、冠状和矢状面视图的差分图，对第二合成模态图像数据与第二模态图像数据进行比较分析，再利用平均绝对损失和峰值信噪比，实现第二合成模态图像数据与第二模态图像数据的定量分析。本申请实施例中提供的跨模态图像的合成方法，至少具有如下技术效果：本专利技术通过以GAN结构改进的Du-Net生成器，有效提升伪模态图像的可信度，尤其是减小了伪模态图像与真实模态图像之间的平均绝对误差。附图说明图1为本申请实施例跨模态图像的合成方法的流程图；图2为本申请实施例整体GAN结构的网络图；图3为本申请实施例Du-Net生成器的的合成方法模型图；图4为本申请实施例GAN结构中的卷积神经网络判别器模型图；具体实施方式为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。参考附图1-4所示，本申请实施例提供了一种跨模态图像的合成方法，该方法包括如下步骤。步骤S1：接收不同模态的数据集，对各数据集中的图像数据进行预处理，分别输出第一模态图像数据、第二模态图像数据的训练集和测试集。在本步骤中，各数据集由同一模态的图像数据组成，以临床常用医学影像为例，模态数据集可以但不局限于A超数据集、B超数据集、M超数据集、X线数据集、CT成像数据集、MRI成像数据集、核素放射成像数据集。医护人员根据需求选取至少两种模态数据集。各模态数据集由若干同一模态的医学图像数据组成。在步骤S1中，还包括对获取的至少两种模态数据集中的图像数据分别进行预处理。常见的图像预处理过程有：数字化、几何变换、归一化、平滑、复原和增强等步骤，通过该一系列操作步骤，对后续输入的图像进行特征抽取、分割和匹配前所进行的处理，以消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。本实施例中的步骤S1中，对各数据集中的若干图像数据进行预处理的方法包括步骤S11-S13。步骤S11：对数据集中的若干图像数据进行归一化处理。图像的归一化处理使图像的某些特征在给定变换下具有不变性质的一种图像标准形式。图像的某些性质，例如物体的面积和周长，本来对于坐标旋转来说就具有不变的性质。在一般情况下，某些因素或变换对图像一些性质的影响可通过归一化处理得到消除或减弱，从而可以被选作测量图像的依据。例如对于光照不可控的遥感图片，灰度直方图的归一化对于图像分析是十分必要的。灰度归一化、几何归一化和变换归一化是获取图像不变性质的三种归一化方法。因此可以理解为，图像归一化处理利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，进而通过一系列变换将待处理的原始图像数据转换成相应的唯一标准形式，该标准形式的图像数据可本文档来自技高网...

【技术保护点】
1.一种跨模态图像的合成方法，其特征在于，包括步骤：/nS1：接收不同模态的数据集，对各所述数据集中的图像数据进行预处理，分别输出第一模态图像数据、第二模态图像数据的训练集和测试集；/nS2：基于GAN神经网络中的GAN生成器和GAN判别器，将空洞卷积网络嵌入到U-Net网络中形成Du-Net生成器；/nS3：将所述训练集中的所述第一模态图像数据、所述第二模态图像数据输入到Du-Net生成器中，提取并融合所述第一模态图像数据在GAN结构上下采样层中的特征数据，得到第二合成模态图像数据；/nS4：将所述第二合成模态图像数据和所述第二模态图像数据输入到所述GAN判别器，经过多次判别迭代训练，生成跨模态图像合成模型；/nS4：将所述测试集中的所述第一模态图像数据、第二模态图像数据输入到所述跨模态图像合成模型中，直接输出与所述第二模态图像数据一致的第二合成模态图像数据。/n

【技术特征摘要】
1.一种跨模态图像的合成方法，其特征在于，包括步骤：
S1：接收不同模态的数据集，对各所述数据集中的图像数据进行预处理，分别输出第一模态图像数据、第二模态图像数据的训练集和测试集；
S2：基于GAN神经网络中的GAN生成器和GAN判别器，将空洞卷积网络嵌入到U-Net网络中形成Du-Net生成器；
S3：将所述训练集中的所述第一模态图像数据、所述第二模态图像数据输入到Du-Net生成器中，提取并融合所述第一模态图像数据在GAN结构上下采样层中的特征数据，得到第二合成模态图像数据；
S4：将所述第二合成模态图像数据和所述第二模态图像数据输入到所述GAN判别器，经过多次判别迭代训练，生成跨模态图像合成模型；
S4：将所述测试集中的所述第一模态图像数据、第二模态图像数据输入到所述跨模态图像合成模型中，直接输出与所述第二模态图像数据一致的第二合成模态图像数据。


2.如权利要求1所述的跨模态图像的合成方法，其特征在于，所述步骤S1中，对各所述数据集中的若干图像数据进行预处理的方法包括：
S11：对数据集中的若干图像数据进行归一化处理；
S12：利用OpenCV对图像数据进行识别生成Mask图，通过图像数据与Mask图进行与运算，裁剪去除图像数据中像素值为0的边框；
S13：利用N3偏置场校正算法对各模态图像数据进行强度均匀校正。


3.如权利要求1所述的跨模态图像的合成方法，其特征在于，所述步骤S3中的Du-Net生成器包括Du-Net编码器、Du-Net解码器，所述第一模态图像数据依次经过所述Du-Net编码器和所述Du-Net解码器后，实现特征数据的提取，后通过相应层级的特征数据的维度相加，实现所述第二合成模态图像数据的融合。


4.如权利要求3所述的跨模态图像的合成方法，其特征在于，所述Du-Net编码器包括5个下采样层，各所述下采样层包含两个...

【专利技术属性】
技术研发人员：曹国刚，刘顺堃，毛红东，孔德卿，李梦雪，朱信玉，王一杰，张术，李思诚，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：上海;31