一种图像合成模型的确定方法和相关装置制造方法及图纸

本申请公开了一种图像合成模型的确定方法和相关装置，本申请实施例可应用于云技术、人工智能、医疗影像等各种场景。该方法中，通过训练使得图像合成模型学习到了第一模态和第二模态间的模态差异，减少了第一模态和第二模态间的模态差异对图像合成模型的影响、以及提升了特征提取精度，增强了跨模态合成中有效特征的可迁移性，从而增强了跨模态合成中有效特征的可迁移性，使得图像合成模型能够根据源模态图像的输出特征准确的转化出目标模态图像的图像特征，合成得到更接近真实的目标模态的图像，提高了多模态场景下的图像获取效率。提高了多模态场景下的图像获取效率。提高了多模态场景下的图像获取效率。

【技术实现步骤摘要】
一种图像合成模型的确定方法和相关装置


[0001]本申请涉及图像处理领域，特别是涉及一种图像合成模型的确定方法和相关装置。

技术介绍

[0002]目标对象可以有多个模态的图像，不同模态的图像可以反映目标对象不同方面的特征，则多个模态的图像可以更加全面的描述目标对象。
[0003]然而多个模态的图像往往需要利用多个途径获取，因此需要消耗较多的人力物力。例如具有模态多样性的磁共振成像(Magnetic Resonance Imaging，MRI)可以得到多模态的医疗影像，这种成像方式显著提高了常规诊断和高级研究的生产力，然而设备间的高可变性和昂贵的检查成本，使多模态图像的获取和利用面临挑战。
[0004]在多模态场景下，通过已有模态的图像合成缺失模态的图像，是一种有效减少人力物力消耗的手段。但是，相关技术中所合成的缺失模态的图像并不准确，难以满足需求。

技术实现思路

[0005]为了解决上述技术问题，本申请提供了一种图像合成模型的确定方法和相关装置，可以合成得到更接近真实的目标模态的图像，提高了多模态场景下的图像获取效率。
[0006]本申请实施例公开了如下技术方案：
[0007]一方面，本申请实施例提供了一种图像合成模型的确定方法，所述方法包括：
[0008]获取训练样本对，所述训练样本对包括第一模态的第一样本图像和第二模态的第二样本图像；
[0009]将所述训练样本对输入初始合成模型，所述初始合成模型包括用于输入所述第一样本图像的第一特征提取子模型和用于输入所述第二样本图像的第二特征提取子模型，所述第一特征提取子模型包括N层第一卷积层，所述第二特征提取子模型包括N层第二卷积层，N≥1；
[0010]确定第i层第一卷积层的第一输出特征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异，i为小于或等于N的正整数；
[0011]通过所述第一输出特征相对所述第一样本图像的第一还原差异、所述第二输出特征相对所述第二样本图像的第二还原差异，以及所述分布差异构建第i个分布损失函数；
[0012]根据所述第i个分布损失函数，通过最小化所述第一还原差异、所述第二还原差异和所述分布差异的优化目标调整所述第i层第一卷积层和所述第i层第二卷积层的层参数，将所述初始合成模型训练得到图像合成模型，所述图像合成模型用于进行所述第一模态与所述第二模态间的跨模态图像合成。
[0013]另一方面，本申请实施例提供了一种图像合成模型的确定装置，所述装置包括获取单元、输入单元、确定单元、构建单元和训练单元：
[0014]所述获取单元，用于获取训练样本对，所述训练样本对包括第一模态的第一样本
图像和第二模态的第二样本图像；
[0015]所述输入单元，用于将所述训练样本对输入初始合成模型，所述初始合成模型包括用于输入所述第一样本图像的第一特征提取子模型和用于输入所述第二样本图像的第二特征提取子模型，所述第一特征提取子模型包括N层第一卷积层，所述第二特征提取子模型包括N层第二卷积层，N≥1；
[0016]所述确定单元，用于确定第i层第一卷积层的第一输出特征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异，i为小于或等于N的正整数；
[0017]所述构建单元，用于通过所述第一输出特征相对所述第一样本图像的第一还原差异、所述第二输出特征相对所述第二样本图像的第二还原差异，以及所述分布差异构建第i个分布损失函数；
[0018]所述训练单元，用于根据所述第i个分布损失函数，通过最小化所述第一还原差异、所述第二还原差异和所述分布差异的优化目标调整所述第i层第一卷积层和所述第i层第二卷积层的层参数，将所述初始合成模型训练得到图像合成模型，所述图像合成模型用于进行所述第一模态与所述第二模态间的跨模态图像合成。
[0019]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器以及存储器：
[0020]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0021]所述处理器用于根据所述程序代码中的指令执行以上方面所述的方法。
[0022]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行以上方面所述的方法。
[0023]另一方面，本申请实施例提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行以上方面所述的方法。
[0024]由上述技术方案可以看出，获取包括第一模态的第一样本图像和第二模态的第二样本图像的训练样本对后，可以将训练样本对输入初始合成模型，初始合成模型包括用于输入第一样本图像的第一特征提取子模型和用于输入第二样本图像的第二特征提取子模型，第一特征提取子模型包括N层第一卷积层，第二特征提取子模型包括N层第二卷积层，其中，第i层第一卷积层可以输出根据第一样本图像确定的第一输出特征，第i层第二卷积层可以输出根据第二样本图像确定的第二输出特征。确定第一输出特征和第二输出特征间在特征分布上的分布差异，以及各个输出特征分别对应的还原差异，由于该分布差异可以标识出第一模态和第二模态间的模态差异，该差异越大，越不利于后续通过图像合成模型进行第一模态与第二模态间的跨模态图像合成，而还原差异可以标识出所对应输出特征得到的还原图像与样本图像间的差异，该差异越大，初始合成模型用于跨模态图像合成所依据的输出特征越难以体现出源模态的准确信息，反而携带过多噪声信息。故通过该分布差异和各还原差异构建第i个分布损失函数，根据第i个分布损失函数，通过最小化各还原差异和分布差异的优化目标调整第i层第一卷积层和第i层第二卷积层的层参数，从而将初始合成模型训练得到图像合成模型，由于通过上述训练让图像合成模型学习到了第一模态和第二模态间的模态差异、以及提升了特征提取精度，从而增强了跨模态合成中有效特征的可迁移性，使得图像合成模型能够根据源模态图像的输出特征准确的转化出目标模态图像的图像特征，合成得到更接近真实的目标模态的图像，提高了多模态场景下的图像获取效率。
附图说明
[0025]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本申请实施例提供的图像合成模型确定场景的示意图；
[0027]图2为本申请实施例提供的一种图像合成模型的确定方法的方法流程图；
[0028]图3为本申请实施例提供的模型训练的示意图之一；
[0029]图4为本申请实施例提供的模型训练的示意图之二；
[0030]图5为本申请实施例提供的模型训练的示意图之三；
[0031]图6为本申请实施例提供的模型训练的示意图之四；
[0032]图7为本申请实施例提供的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像合成模型的确定方法，其特征在于，所述方法包括：获取训练样本对，所述训练样本对包括第一模态的第一样本图像和第二模态的第二样本图像；将所述训练样本对输入初始合成模型，所述初始合成模型包括用于输入所述第一样本图像的第一特征提取子模型和用于输入所述第二样本图像的第二特征提取子模型，所述第一特征提取子模型包括N层第一卷积层，所述第二特征提取子模型包括N层第二卷积层，N≥1；确定第i层第一卷积层的第一输出特征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异，i为小于或等于N的正整数；通过所述第一输出特征相对所述第一样本图像的第一还原差异、所述第二输出特征相对所述第二样本图像的第二还原差异，以及所述分布差异构建第i个分布损失函数；根据所述第i个分布损失函数，通过最小化所述第一还原差异、所述第二还原差异和所述分布差异的优化目标调整所述第i层第一卷积层和所述第i层第二卷积层的层参数，将所述初始合成模型训练得到图像合成模型，所述图像合成模型用于进行所述第一模态与所述第二模态间的跨模态图像合成。2.根据权利要求1所述的方法，其特征在于，所述确定第i层第一卷积层的第一输出特征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异之前，所述方法还包括：获取所述第i层第一卷积层的第一初始输出特征和所述第i层第二卷积层的第二初始输出特征；通过全局标准化将所述第一初始输出特征映射到第一图像尺寸下，得到所述第一输出特征；通过全局标准化将所述第二初始输出特征映射到第二图像尺寸下，得到所述第二输出特征。3.根据权利要求1所述的方法，其特征在于，所述第一样本图像是针对第一目标对象生成的，所述第一样本图像包括针对所述第一目标对象的p层图像帧，所述第二样本图像是针对第二目标对象生成的，所述第二样本图像包括针对所述第二目标对象的p层图像帧，所述第一目标对象和所述第二目标对象具有相同的对象类型；在将所述初始合成模型训练得到所述图像合成模型的过程中，所述方法还包括：根据所述第一目标对象在所述第一模态下的第一几何结构，以及所述第一输出特征中与所述p层图像帧分别对应的第一子特征，确定所述第一子特征间针对所述第一几何结构的第一结构差异；根据所述第二目标对象在所述第二模态下的第二几何结构，以及所述第二输出特征中与所述p层图像帧分别对应的第二子特征，确定所述第二子特征间针对所述第二几何结构的第二结构差异；通过所述第一结构差异和所述第二结构差异构建第i个结构差异损失函数；根据所述第i个结构差异损失函数，通过最小化所述第一结构差异和所述第二结构差异的优化目标调整所述第i层第一卷积层和所述第i层第二卷积层的层参数。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一目标对象在所述第一模态下的第一几何结构，以及所述第一输出特征中与所述p层图像帧分别对应的第一子特征，确定所述第一子特征间针对所述第一几何结构的第一结构差异，包括：
对所述第一输出特征中与所述p层图像帧分别对应的第一子特征进行正则化处理，得到与所述p层图像帧分别对应的第一正则化子特征；根据所述第一目标对象在所述第一模态下的第一几何结构，以及与所述p层图像帧分别对应的第一正则化子特征，确定所述第一正则化子特征间针对所述第一几何结构的所述第一结构差异；所述根据所述第二目标对象在所述第二模态下的第二几何结构，以及所述第二输出特征中与所述p层图像帧分别对应的第二子特征，确定所述第二子特征间针对所述第二几何结构的第二结构差异，包括：对所述第二输出特征中与所述p层图像帧分别对应的第二子特征进行正则化处理，得到与所述p层图像帧分别对应的第二正则化子特征；根据所述第二目标对象在所述第二模态下的第二几何结构，以及与所述p层图像帧分别对应的第二正则化子特征，确定所述第二正则化子特征间针对所述第二几何结构的所述第二结构差异。5.根据权利要求1所述的方法，其特征在于，在将所述初始合成模型训练得到所述图像合成模型的过程中，所述方法还包括：根据奇异值分解确定所述第一输出特征对应的第一分层正交矩阵，以及所述第二输出特征对应的第二分层正交矩阵...

【专利技术属性】
技术研发人员：黄雅雯，李悦翔，王红，魏东，郑冶枫，
申请(专利权)人：腾讯医疗健康深圳有限公司，
类型：发明
国别省市：