图像修复方法、装置、介质及电子设备制造方法及图纸

技术编号:37065670 阅读:14 留言:0更新日期:2023-03-29 19:43
本公开涉及一种图像修复方法、装置、介质及电子设备,包括:根据待修复图像中的破损区域和未破损区域,生成与所述待修复图像同型的二值图像,其中,所述破损区域在所述二值图像中取值相同,所述未破损区域在所述二值图像中取值相同且与所述破损区域的取值不同;生成与所述待修复图像同型的正态随机噪声图像,以及计算所述二值图像与所述待修复图像的哈德曼乘积得到破损图像;根据所述正态随机噪声图像、所述二值图像以及所述破损图像,迭代对图像修复模型的参数进行调整,将所述图像修复模型迭代完成时输出的迭代图像作为目标修复图像。该方法不用进行样本标注和模型训练等,降低了图像修复的成本,并且可以提高图像修复的准确性。准确性。准确性。

【技术实现步骤摘要】
图像修复方法、装置、介质及电子设备


[0001]本公开涉及图像数据处理
,具体地,涉及一种图像修复方法、装置、介质及电子设备。

技术介绍

[0002]图像修复可以将图像中破损、丢失的区域进行补充。在传统算法中,通过计算丢失区域与其它区域的相似度,获取图像的相似信息,进而根据相似信息进行破损、丢失区域修复。然而,如果图像破损、丢失区域无法找到与之相似或相对应的其它相似图像域,则无法完成修复。
[0003]相关技术中,衍生出基于通道学习的图像修复方法,此方法通过神经网络中的神经元参数,对图像的数据进行复合线性拟合,从而以拟合后的复合函数计算破损、丢失区域的数据内容。但是,该方法需要使用精心制作的配对数据集训练图像修复模型,配对数据集中一个破损(或者丢失)图像与一个原始图像存在一一对应关系,首先,模型训练的成本较高,其次,配对数据集的制作成本高,不仅需要收集图像,还需要对数据进行配对,此外,图像的数量有限,通常无法涵盖现实世界全部的先验信息,还有重要的一点是,使用特定数据集训练出的图像修复模型,在修复陌生图像时更倾向于迎合已有的数据集的先验信息,而非将重心放在获取破损图像本身的先验信息中,在修复特定专业领域的图像时,存在修复得到的图像其准确性较低的问题。

技术实现思路

[0004]本公开的目的是提供一种图像修复方法、装置、介质及电子设备,旨在降低图像修复的成本和提高图像修复的准确性。
[0005]为了实现上述目的,本公开实施例的第一方面,提供一种图像修复方法,所述方法包括:
[0006]根据待修复图像中的破损区域和未破损区域,生成与所述待修复图像同型的二值图像,其中,所述破损区域在所述二值图像中取值相同,所述未破损区域在所述二值图像中取值相同且与所述破损区域的取值不同;
[0007]生成与所述待修复图像同型的正态随机噪声图像,以及计算所述二值图像与所述待修复图像的哈德曼乘积得到破损图像;
[0008]根据所述正态随机噪声图像、所述二值图像以及所述破损图像,迭代对图像修复模型的参数进行调整,将所述图像修复模型迭代完成时输出的迭代图像作为目标修复图像。
[0009]可选地,所述根据所述正态随机噪声图像、所述二值图像以及所述破损图像,迭代对图像修复模型的参数进行调整,将所述图像修复模型迭代完成时输出的迭代图像作为目标修复图像的步骤,包括:
[0010]将所述正态随机噪声图像输入所述图像修复模型,得到所述图像修复模型输出的
迭代图像;
[0011]根据所述迭代图像、所述二值图像以及所述破损图像,确定本次迭代的损失值;
[0012]将所述损失值反向传播,以对所述图像修复模型的参数进行调整;
[0013]迭代将所述正态随机噪声图像输入本次参数调整后的图像修复模型,并根据所述二值图像、所述破损图像以及所述本次参数调整后的图像修复模型输出的迭代图像确定本次迭代的损失值,将本次迭代的所述损失值反向传播,对所述图像修复模型的参数进行调整,直到迭代完成,将所述图像修复模型迭代完成时输出的迭代图像作为目标修复图像。
[0014]可选地,所述图像修复模型通过如下方式输出迭代图像:
[0015]根据预设卷积核以及预设卷积步长,对所述正态随机噪声图像进行下采样卷积,得到下采样噪声图像;
[0016]在编码器中对所述下采样噪声图像进行多级多感知注意力三维卷积计算,得到编码图像,其中,每一级多感知注意力三维卷积中包括一次多感知注意力计算和一次三维卷积计算、且每一次多感知注意力计算中均包括空间注意力特征提取、通道注意力特征提取和池化

空洞卷积计算;
[0017]在解码器中对所述编码图像进行多级多感知注意力二维卷积计算,得到解码图像,其中,每一级多感知注意力二维卷积中包括一次多感知注意力计算和一次二维卷积计算;
[0018]在上采样层对所述解码图像进行多级上采样卷积计算,得到与所述正态随机噪声图像同型的迭代图像,其中,每一级上采样卷积均包括上采样与卷积交替计算、且最后经过多次卷积计算。
[0019]可选地,所述在编码器中对所述下采样噪声图像进行多级多感知注意力三维卷积计算,得到编码图像的步骤,包括:
[0020]对上一级多感知注意力三维卷积计算的输出分别进行空间注意力特征提取、通道注意力特征提取和池化

空洞卷积计算,分别得到对应该级的空间注意力特征图像、通道注意力特征图像和池化

空洞卷积图像;
[0021]将所述空间注意力特征图像、所述通道注意力特征图像和所述池化

空洞卷积图像进行加权求和,得到多感知注意力图像;
[0022]对所述多感知注意力图像进行三维卷积计算,得到所述编码图像。
[0023]可选地,通过如下方式对输入的图像进行通道注意力特征提取得到所述通道注意力特征图像:
[0024]针对输入的图像的通道方向,对输入的图像进行变形处理得到平面变形图像,并对所述平面变形图像进行转置处理得到平面转置图像;
[0025]计算所述平面变形图像与所述平面转置图像的乘积,得到第一备用图像;
[0026]按行确定所述第一备用图像中每一行的最大值,并将该行中其他值均赋值为对应该行的最大值,得到最大值矩阵特征图像;
[0027]计算所述最大值矩阵特征图像与所述第一备用图像的差值,得到第二备用图像;
[0028]计算所述平面变形图像与所述第二备用图像的乘积,得到第三备用图像;
[0029]对所述第三备用图像再次进行变形处理,得到与所述输入的图像同型的目标图像;
[0030]将所述输入的图像以及所述目标图像进行求和,得到所述通道注意力特征图像。
[0031]可选地,通过如下方式对输入的图像进行池化

空洞卷积计算得到所述池化

空洞卷积图像:
[0032]对输入的图像分别进行均值池化计算、最大池化计算和多个卷积核相同、空洞率不同的空洞卷积计算,得到均值池化图像、最大池化图像和不同空洞率对应的空洞卷积图像;
[0033]分别对所述均值池化图像和所述最大池化图像依次进行卷积计算和上采样计算,得到上采样均值池化图像和上采样最大池化图像;
[0034]对所述上采样均值池化图像和所述上采样最大池化图像求和,得到第四备用图像;
[0035]将所述第四备用图像和不同空洞率对应的空洞卷积图像进行拼接,得到所述池化

空洞卷积图像。
[0036]可选地,所述根据所述迭代图像、所述二值图像以及所述破损图像,确定本次迭代的损失值的步骤,包括:
[0037]计算所述迭代图像与所述二值图像的哈德曼乘积,得到哈德曼矩阵图像。
[0038]根据所述破损图像以及所述哈德曼矩阵图像,确定本次迭代的损失值。
[0039]本公开实施例的第二方面,提供一种图像修复装置,所述装置包括:
[0040本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法,其特征在于,所述方法包括:根据待修复图像中的破损区域和未破损区域,生成与所述待修复图像同型的二值图像,其中,所述破损区域在所述二值图像中取值相同,所述未破损区域在所述二值图像中取值相同且与所述破损区域的取值不同;生成与所述待修复图像同型的正态随机噪声图像,以及计算所述二值图像与所述待修复图像的哈德曼乘积得到破损图像;根据所述正态随机噪声图像、所述二值图像以及所述破损图像,迭代对图像修复模型的参数进行调整,将所述图像修复模型迭代完成时输出的迭代图像作为目标修复图像。2.根据权利要求1所述的方法,其特征在于,所述根据所述正态随机噪声图像、所述二值图像以及所述破损图像,迭代对图像修复模型的参数进行调整,将所述图像修复模型迭代完成时输出的迭代图像作为目标修复图像的步骤,包括:将所述正态随机噪声图像输入所述图像修复模型,得到所述图像修复模型输出的迭代图像;根据所述迭代图像、所述二值图像以及所述破损图像,确定本次迭代的损失值;将所述损失值反向传播,以对所述图像修复模型的参数进行调整;迭代将所述正态随机噪声图像输入本次参数调整后的图像修复模型,并根据所述二值图像、所述破损图像以及所述本次参数调整后的图像修复模型输出的迭代图像确定本次迭代的损失值,将本次迭代的所述损失值反向传播,对所述图像修复模型的参数进行调整,直到迭代完成,将所述图像修复模型迭代完成时输出的迭代图像作为目标修复图像。3.根据权利要求2所述的方法,其特征在于,所述图像修复模型通过如下方式输出迭代图像:根据预设卷积核以及预设卷积步长,对所述正态随机噪声图像进行下采样卷积,得到下采样噪声图像;在编码器中对所述下采样噪声图像进行多级多感知注意力三维卷积计算,得到编码图像,其中,每一级多感知注意力三维卷积中包括一次多感知注意力计算和一次三维卷积计算、且每一次多感知注意力计算中均包括空间注意力特征提取、通道注意力特征提取和池化

空洞卷积计算;在解码器中对所述编码图像进行多级多感知注意力二维卷积计算,得到解码图像,其中,每一级多感知注意力二维卷积中包括一次多感知注意力计算和一次二维卷积计算;在上采样层对所述解码图像进行多级上采样卷积计算,得到与所述正态随机噪声图像同型的迭代图像,其中,每一级上采样卷积均包括上采样与卷积交替计算、且最后经过多次卷积计算。4.根据权利要求3所述的方法,其特征在于,所述在编码器中对所述下采样噪声图像进行多级多感知注意力三维卷积计算,得到编码图像的步骤,包括:对上一级多感知注意力三维卷积计算的输出分别进行空间注意力特征提取、通道注意力特征提取和池化

空洞卷积计算,分别得到对应该级的空间注意力特征图像、通道注意力特征图像和池化

空洞卷积图像;将所述空间注意力特征图像、所述通道注意力特征图像和所述池化

空洞卷积图像进行加权求和,得到多感知注意力图像;
对所述多感知注意力图像进行三维卷积...

【专利技术属性】
技术研发人员:韩宇星蔡明睿王俊舒李晓欣贾开元
申请(专利权)人:华南农业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1