图像处理模型的训练方法技术

本申请公开了一种图像处理模型的训练方法

【技术实现步骤摘要】
图像处理模型的训练方法、图像处理方法、装置及设备


[0001]本申请涉及图像处理
，特别涉及一种图像处理模型的训练方法
、
图像处理方法
、
装置及设备
。

技术介绍

[0002]图像修复技术作为一种图像处理技术，其目标是对图像中缺损区域进行修复，并尽可能保证修复后的图像中缺损区域与有效区域的纹理和结构在精细程度上的一致性
。
[0003]相关技术中，通常借助于深度学习的方法，利用样本缺损图像来训练一个图像处理模型，通过训练好的图像处理模型提取待修复的缺损图像中有效区域的结构特征，随后将该结构特征从有效区域扩展到缺损区域，再进一步合成缺损区域的纹理特征，得到修复后的图像
。
[0004]然而，上述方法过度依赖于有效区域的结构特征，直接将结构特征从有效区域扩展至缺损区域，缺乏对特征的重组，导致修复后的图像中缺损区域与有效区域的纹理和结构在精细程度上不一致，图像修复效果不佳，修复后的图像质量较差
。

技术实现思路

[0005]本申请实施例提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理模型的训练方法，其特征在于，所述方法包括：将样本缺损图像和样本掩码图像输入图像处理模型，所述样本掩码图像用于指示所述样本缺损图像的缺损区域和有效区域，所述图像处理模型包括纹理特征层和结构特征层；通过所述纹理特征层，提取所述样本缺损图像的第一纹理特征，通过所述结构特征层，提取所述样本缺损图像的第一结构特征，所述第一纹理特征指示所述有效区域的纹理特征，所述第一结构特征指示所述样本缺损图像的粗略结构特征；通过所述纹理特征层，处理所述第一纹理特征和所述第一结构特征，得到所述样本缺损图像的第二纹理特征，通过所述结构特征层，处理所述第二纹理特征和所述第一结构特征，得到所述样本缺损图像的第二结构特征，所述第二纹理特征指示所述有效区域和所述缺损区域的纹理特征，所述第二结构特征指示所述样本缺损图像的细化结构特征；基于所述第二纹理特征和所述第二结构特征，获取所述样本缺损图像的预测修复图像，基于所述样本缺损图像的真实图像
、
所述预测修复图像以及所述样本掩码图像，对所述图像处理模型进行训练
。2.
根据权利要求1所述的方法，其特征在于，所述通过所述纹理特征层，提取所述样本缺损图像的第一纹理特征，通过所述结构特征层，提取所述样本缺损图像的第一结构特征，包括：通过各个所述纹理特征层中的编码单元，对所述样本缺损图像进行下采样，得到各个所述纹理特征层对应的第一纹理特征；通过各个所述结构特征层中的编码单元，对第一纹理特征层对应的第一纹理特征进行下采样，得到各个所述结构特征层对应的第一中间结构特征，所述第一纹理特征层为最底层的纹理特征层；通过各个所述结构特征层中的解码单元，对第一结构特征层对应的第一中间结构特征进行上采样，得到各个所述结构特征层对应的第一结构特征，所述第一结构特征层为最底层的结构特征层
。3.
根据权利要求1所述的方法，其特征在于，所述通过所述纹理特征层，处理所述第一纹理特征和所述第一结构特征，得到所述样本缺损图像的第二纹理特征，包括：通过各个所述纹理特征层中的解码单元，对第二结构特征层对应的第一结构特征进行上采样，得到各个所述纹理特征层对应的第二中间结构特征，所述第二结构特征层为最顶层的结构特征层；通过各个所述纹理特征层中的纹理增强单元，对各个所述纹理特征层对应的第二中间结构特征和第一纹理特征进行处理，得到各个所述纹理特征层对应的第二纹理特征
。4.
根据权利要求3所述的方法，其特征在于，所述通过各个所述纹理特征层中的纹理增强单元，对各个所述纹理特征层对应的第二中间结构特征和第一纹理特征进行处理，得到各个所述纹理特征层对应的第二纹理特征，包括：基于目标纹理特征层对应的第二中间结构特征中各个像素的结构特征，获取所述目标纹理特征层对应的注意力矩阵，所述注意力矩阵指示所述目标纹理特征层对应的第二中间结构特征中任意两个像素之间的亲和性，所述目标纹理特征层为任一个纹理特征层；基于所述注意力矩阵
、
所述目标纹理特征层对应的掩码图像以及所述目标纹理特征层对应的第一纹理特征，得到所述目标纹理特征层对应的第二纹理特征
。
5.
根据权利要求1所述的方法，其特征在于，所述通过所述结构特征层，处理所述第二纹理特征和所述第一结构特征，得到所述样本缺损图像的第二结构特征，包括：通过各个所述结构特征层中的编码单元，对第一纹理特征层对应的第二纹理特征进行下采样，得到各个所述结构特征层对应的第三中间结构特征，所述第一纹理特征层为最底层的纹理特征层；通过各个所述结构特征层中的结构增强单元，对各个所述结构特征层对应的第三中间结构特征和第一结构特征进行处理，得到各个所述结构特征层对应的第二结构特征
。6.
根据权利要求5所述的方法，其特征在于，所述通过各个所述结构特征层中的结构增强单元，对各个所述结构特征层对应的第三中间结构特征和第一结构特征进行处理，得到各个所述结构特征层对应的第二结构特征，包括：获取目标结构特征层对应的第三中间结构特征和第一结构特征之间的残差，所述目标结构特征层为任一个结构特征层；对所述残差中的各个特征通道进行压缩，得到各个所述特征通道的特征值；基于各个所述特征通道的特征值，获取各个所述特征通道的权重，所述特征通道的权重指示特征通道对结构特征的重要性；基于各个所述特征通道的权重，对所述目标结构特征层对应的第三中间结构特征中的各个所述特征通道进行变换，得到所述目标结构特征层对应的第二结构特征
。7.
根据权利要求1所述的方法，其特征在于，所述基于所述样本缺损图像的真实图像
、
所述预测修复图像以及所述样本掩码图像，对所述图像处理模型进行训练，包括：将所述预测修复图像输入图像判别器，得到所述预测修复图像的判别结果，基于所述预测修复图像的判别结果
、
所述预测修复图像和所述真实图像，确定所述图像处理模型的第一损失值，所述预测修复图像的判别结果指示所述预测修复图像中各个像素修复失败的概率；基于目标修复图像和所述真实图像在特征空间的距离，确定所述图像处...

【专利技术属性】
技术研发人员：全卫泽，周子琪，张瑞松，严冬明，张勇，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：