【技术实现步骤摘要】
一种图像合成模型的确定方法和相关装置
[0001]本申请涉及图像处理领域,特别是涉及图像合成模型的确定方法和相关装置。
技术介绍
[0002]目标对象可以有多个模态的图像,不同模态的图像可以反映目标对象不同方面的特征,则多个模态的图像可以更加全面的描述目标对象。
[0003]然而多个模态的图像往往需要利用多个途径获取,因此需要消耗较多的人力物力。例如具有模态多样性的磁共振成像(Magnetic Resonance Imaging,MRI)可以得到多模态的图像,这种成像方式显著提高了常规诊断和高级研究的生产力,然而设备间的高可变性和昂贵的检查成本,使多模态图像的获取和利用面临挑战。
[0004]在多模态场景下,通过已有模态的图像合成缺失模态的图像,是一种有效减少人力物力消耗的手段。但是,相关技术中所合成的缺失模态的图像并不准确,难以满足需求。
技术实现思路
[0005]为了解决上述技术问题,本申请提供了一种图像合成模型的确定方法和相关装置,得到的图像合成模型能够合成更接近真实的缺失图像,提高了多 ...
【技术保护点】
【技术特征摘要】
1.一种图像合成模型的确定方法,其特征在于,所述方法包括:获取训练样本对,所述训练样本对包括第一模态的第一样本图像和第二模态的第二样本图像;将所述训练样本对输入初始合成模型,所述初始合成模型包括用于输入所述第一样本图像的第一特征提取子模型和用于输入所述第二样本图像的第二特征提取子模型,所述第一特征提取子模型包括N层第一卷积层,所述第二特征提取子模型包括N层第二卷积层,N≥1;根据第i层第一卷积层的第一输出特征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异,构建第i个分布损失函数,所述第一输出特征是根据所述第一样本图像确定的,所述第二输出特征是根据所述第二样本图像确定的,i为小于或等于N的正整数;根据所述第i个分布损失函数,通过最小化所述分布差异的优化目标调整所述第i层第一卷积层和所述第i层第二卷积层的层参数,将所述初始合成模型训练得到图像合成模型,所述图像合成模型用于进行所述第一模态与所述第二模态间的跨模态图像合成。2.根据权利要求1所述的方法,其特征在于,所述根据第i层第一卷积层的第一输出特征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异,构建第i个分布损失函数之前,所述方法还包括:获取所述第i层第一卷积层的第一初始输出特征和所述第i层第二卷积层的第二初始输出特征;通过全局标准化将所述第一初始输出特征映射到第一图像尺寸下,得到所述第一初始输出特征对应的所述第一输出特征;通过全局标准化将所述第二初始输出特征映射到第二图像尺寸下,得到所述第二初始输出特征对应的所述第二输出特征。3.根据权利要求1所述的方法,其特征在于,所述根据第i层第一卷积层的第一输出特征与第i层第二卷积层的第二输出特征间在特征分布上的分布差异,构建第i个分布损失函数,包括:通过将所述第一输出特征和所述第二输出特征映射到同一个特征空间中,确定在特征分布上的所述分布差异;根据所述分布差异构建第i个分布损失函数。4.根据权利要求1所述的方法,其特征在于,当N≥2时,所述第一输出特征为第i+1层第一卷积层的输入特征,所述第二输出特征为第i+1层第二卷积层的输入特征,所述第i+1层第一卷积层的输出特征的特征尺寸小于所述第一输出特征的特征尺寸,所述第i+1层第二卷积层的输出特征的特征尺寸小于所述第二输出特征的特征尺寸。5.根据权利要求4所述的方法,其特征在于,所述N层第一卷积层和所述N层第二卷积层均与N个分布损失函数具有一一对应关系,其中,所述N个分布损失函数中的所述第i个分布损失函数对应于第i层第一卷积层和第i层第二卷积层;所述根据所述第i个分布损失函数,通过最小化所述分布差异的优化目标调整所述第i层第一卷积层和所述第i层第二卷积层的层参数,将所述初始合成模型训练得到图像合成模型,包括:根据所述N个分布损失函数,通过最小化所述分布差异的优化目标调整所对应第一卷积层和第二卷积层的层参数,将所述初始合成模型训练得到图像合成模型。
6.根据权利要求1
‑
5任意一项所述的方法,其特征在于,在将所述初始合成模型训练得到所述图像合成模型的过程中,所述方法还包括:根据所述第i层第一卷积层对应的转换特征与所述第二输出特征间的特征差异,构建第i个关联损失函数,其中,所述转换特征是根据所述第一输出特征通过所对应映射矩阵转换为对应所述第二模态的特征;根据所述第i个关联损失函数,通过最小化所述特征差异和所述映射矩阵的优化目标调整所述第i层第一卷积层和所述第i层第二卷积层的层参数。7.根据权利要求6所述的方法,其特征在于,当N≥2时,所述N层第一卷积层...
【专利技术属性】
技术研发人员:黄雅雯,郑冶枫,
申请(专利权)人:腾讯医疗健康深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。