图像生成方法、装置、设备、存储介质及计算机程序产品制造方法及图纸

本申请公开了一种图像生成方法、装置、设备、存储介质及计算机程序产品，涉及机器学习领域。该方法包括：获取第一模态图像；通过第一候选网络对第一模态图像进行模态转换，得到第一生成图像；通过第二候选网络对第一生成图像进行模态还原，得到第一还原图像；基于第一生成图像和第一还原图像，获取约束损失值；基于约束损失值对第一候选网络进行训练，得到图像转换网络。即，通过对第一模态图像进行模态转换后又进行模态还原，分别得到第一生成图像和第一还原图像，来确定第一候选网络对应的约束损失值，从而对第一候选网络进行训练的方式，能够提高模型在三维图像空间中进行模态转换的准确度。的准确度。的准确度。

【技术实现步骤摘要】
图像生成方法、装置、设备、存储介质及计算机程序产品


[0001]本申请涉及机器学习领域，特别涉及一种图像生成、装置、设备、存储介质及计算机程序产品。

技术介绍

[0002]图像合成用于对不同模态图像之间进行图像转换，不同模态图像指获得图像的方式不同，如：通过X射线(X
‑
RAY)获取的X光图像，和通过核磁共振获取的核磁共振成像磁共振成像(Magnetic Resonance Imaging，MRI)对应为两种不同模态图像，或者，不同模态图像是指图像的风格不同。
[0003]相关技术中，通常采用训练生成式对抗网络(Generative Adversarial Networks，GAN)的方式得到图像生成模型，用于生成不同模态的图像。在训练过程中，通过样本图像和参考图像对GAN网络进行训练，其中，样本图像和参考图像是预先确定的具有匹配关系的样本图像组。
[0004]然而在上述方法中，通过获取具有匹配关系的样本图像组对GAN网络进行训练的方式，由于用于训练的样本需要具有匹配关系，导致样本图像组的获取方式会存在难度较大的问题，同时在实际应用过程中，不同模态图像之间差异性较大，导致GAN网络的输出结果准确度较低，模型性能表现较差。

技术实现思路

[0005]本申请实施例提供了一种图像生成方法、装置、设备、存储介质及计算机程序产品，能够提高生成的目标三维图像的准确度。所述技术方案如下：
[0006]一方面，提供了一种图像生成方法，所述方法包括：
[0007]获取第一模态图像，所述第一模态图像对应第一模态；
[0008]通过第一候选网络对所述第一模态图像进行模态转换，得到第一生成图像，所述第一生成图像对应第二模态，且所述第一生成图像是三维图像，所述第一模态与所述第二模态是不同的模态；
[0009]通过第二候选网络对所述第一生成图像进行模态还原，得到第一还原图像，所述第一还原图像对应所述第一模态；
[0010]基于所述第一生成图像和所述第一还原图像，获取约束损失值，所述约束损失值用于指示所述第一候选网络将所述第一模态图像映射至三维图像空间时的映射损失；
[0011]基于所述约束损失值对所述第一候选网络进行训练，得到图像转换网络，所述图像转换网络用于对属于所述第一模态的图像进行模态转换，得到属于所述第二模态的三维图像。
[0012]另一方面，提供了一种图像生成装置，所述装置包括：
[0013]获取模块，用于获取第一模态图像，所述第一模态图像对应第一模态；
[0014]转换模态，用于通过第一候选网络对所述第一模态图像进行模态转换，得到第一
生成图像，所述第一生成图像对应第二模态，且所述第一生成图像是三维图像，所述第一模态与第二模态是不同的模态；
[0015]还原模块，用于通过第二候选网络对所述第一生成图像进行模态还原，得到第一还原图像，所述第一还原图像对应所述第一模态；
[0016]所述获取模块，还用于基于所述第一生成图像和所述第一还原图像，获取约束损失值，所述约束损失值用于指示所述第一候选网络将所述第一模态图像映射至三维图像空间时的映射损失；
[0017]训练模块，用于基于所述约束损失值对所述第一候选网络进行训练，得到图像转换网络，所述图像转换网络用于对属于所述第一模态的图像进行模态转换，得到属于所述第二模态的三维图像。
[0018]另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述图像生成方法。
[0019]另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的图像生成方法。
[0020]另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的图像生成方法。
[0021]本申请实施例提供的技术方案带来的有益效果至少包括：
[0022]通过第一候选网络与第二候选网络对第一模态图像分别进行模态转换以及模态还原，分别得到第一生成图像和第一还原图像，其中，第一候选网络用于将第一模态图像转换为第二模态的三维图像，根据第一生成图像和第一还原图像确定第一候选网络在三维图像空间中对应的约束损失值，从而对第一候选网络进行训练的方式，能够使得最终训练得到的图像转换网络生成的目标三维图像的效果更好，也即，通过在第一候选网络中引入三维图像空间的方式能够提高图像转换网络的训练效果，从而使输出的目标三维图像准确度更高。
[0023]在医疗领域下，由于医学图像的模态更具多样化，不同模态图像反应的信息侧重点不同，因此将医学图像通过图像转换网络转换成三维医学图像的方式可以更好的对三维医学图像进行图像分割，用于辅助医疗诊断，在对第一候选网络进行训练的过程中，通过获取第一模态图像对应的第一生成图像和第一还原图像，从而确定第一候选网络对应的约束损失值，用于满足不同场景下，确定第一候选网络在三维图像空间中对应的不同特征的映射损失，从而有针对性的对第一候选网络进行训练，得到最终满足当前场景下的图像转换网络，适用于提高对医学图像进行模态转换的准确度，从而更好的进行后续医疗诊断。
附图说明
[0024]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是本申请一个示例性实施例提供的图像生成方法相关技术示意图；
[0026]图2是本申请一个示例性实施例提供的实施环境示意图；
[0027]图3是本申请一个示例性实施例提供的图像生成方法流程图；
[0028]图4是本申请另一个示例性实施例提供的图像生成方法流程图；
[0029]图5是本申请另一个示例性实施例提供的图像生成方法流程图；
[0030]图6是本申请一个示例性实施例提供的图像生成方法示意图；
[0031]图7是本申请一个示例性实施例提供的脑部图像生成过程示意图；
[0032]图8是本申请一个示例性实施例提供的图像生成装置的结构框图；
[0033]图9是本申请另一个示例性实施例提供的图像生成装置的结构框图；
[0034]图10是本申请一个示例性实施例提供的服务器结构示意图。
具体实施方式
[0035]为使本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法包括：获取第一模态图像，所述第一模态图像对应第一模态；通过第一候选网络对所述第一模态图像进行模态转换，得到第一生成图像，所述第一生成图像对应第二模态，且所述第一生成图像是三维图像，所述第一模态与所述第二模态是不同的模态；通过第二候选网络对所述第一生成图像进行模态还原，得到第一还原图像，所述第一还原图像对应所述第一模态；基于所述第一生成图像和所述第一还原图像，获取约束损失值，所述约束损失值用于指示所述第一候选网络将所述第一模态图像映射至三维图像空间时的映射损失；基于所述约束损失值对所述第一候选网络进行训练，得到图像转换网络，所述图像转换网络用于对属于所述第一模态的图像进行模态转换，得到属于所述第二模态的三维图像。2.根据权利要求1所述的方法，其特征在于，所述约束损失值中包括维度转换损失值；所述基于所述第一生成图像和所述第一还原图像，获取约束损失值，包括：获取第二模态图像，所述第二模态图像为预先提供的第二模态的图像；基于所述第一生成图像和所述第二模态图像的图像特征分布差异，以及，基于所述第一模态图像和所述第一还原图像的图像特征分布差异，获取所述维度转换损失值，所述维度转换损失值用于指示所述第一候选网络通过所述三维图像空间进行图像维度转换时产生的损失。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一生成图像和所述第二模态图像的图像特征分布差异，以及，基于所述第一模态图像和所述第一还原图像的图像特征分布差异，获取所述维度转换损失值，包括：基于所述第二模态图像和所述第一生成图像之间的所述图像特征分布差异，确定判别损失；基于所述第一模态图像和所述第一还原图像之间的所述图像特征分布差异，确定生成损失；将所述生成损失和所述判别损失作为所述维度转换损失值。4.根据权利要求3所述的方法，其特征在于，所述第一候选网络中包括判别生成网络架构中的判别器；所述基于所述第二模态图像和所述第一生成图像之间的所述图像特征分布差异，确定判别损失，包括：将所述第二模态图像输入所述判别器，输出得到参考预测结果，所述参考预测结果用于指示所述第二模态图像作为参考图像的概率；将所述第一生成图像输入所述判别器，输出得到匹配预测结果，所述匹配预测结果用于指示所述第一生成图像和所述第二模态图像对应的匹配关系；基于所述参考预测结果和所述匹配预测结果，确定所述判别损失。5.根据权利要求3所述的方法，其特征在于，所述基于所述第一模态图像和所述第一还原图像之间的所述图像特征分布差异，确定生成损失，包括：确定所述第一模态图像对应的第一特征表示；
确定所述第一还原图像对应的第二特征表示；基于所述第一特征表示与所述第二特征表示之间的特征表示距离，确定所述生成损失。6.根据权利要求5所述的方法，其特征在于，所述第一候选网络中包括生成式对抗网络架构中的生成器；所述通过第一候选网络对所述第一模态图像进行模态转换，得到第一生成图像，包括：将所述第一模态图像输入所述生成器，输出得到所述第一生成图像。7.根据权利要求1至6任一所述的方法，其特征在于，所述约束损失值中包括域约束损失值；所述基于所述第一生成图像和所述第一还原图像，获取约束损失值，包括：获取所述第一模态图像在所述三维图像空间的第一特征分布；获取所述第一生成图像在所述三...

【专利技术属性】
技术研发人员：黄雅雯，郑冶枫，
申请(专利权)人：腾讯医疗健康深圳有限公司，
类型：发明
国别省市：