一种基于划痕检测及图像补全的老照片修复方法技术

本发明专利技术公开了一种基于划痕检测及图像补全的老照片修复方法，涉及神经网络技术领域，获取待修复照片，并将待修复照片输入检测网络，得到缺陷位置的语义分割图；将缺陷位置的语义分割图和待修复照片输入图像补全网络，得到修复后的照片；其通过深度学习模型识别缺陷位置，进行图像补全来实现修复，不需要参考照片，在实际使用时，具有更好的通用性，且通过unet模型能实现对于缺陷位置的识别，再通过生成对抗网络，能即使是在缺陷面积较大的情况下，依然能够保持良好的修复效果。依然能够保持良好的修复效果。依然能够保持良好的修复效果。

【技术实现步骤摘要】
一种基于划痕检测及图像补全的老照片修复方法


[0001]本专利技术涉及神经网络
，具体涉及一种基于划痕检测及图像补全的老照片修复方法。

技术介绍

[0002]老照片承载了个人的珍贵记忆，但随着时间的流逝，若是没有妥善保存，很容易造成老照片的出现不同程度的损毁而无法保留原貌，例如划痕、折痕、缺角、破损等，传统的手工修复方法存在技术门槛高、费时费力等诸多不便，随着电子技术的发展，自动化的修复技术开始崭露头角，传统的老照片修复方法一般是使用滤波器，利用周围的像素点来修复有问题的像素点，这种方法一般只能修复面积很小的缺陷。
[0003]随着深度学习方法的兴起，也有人提出一些基于深度学习的方法的实现老照片的修复，基于深度学习的老照片修复是一种较新的人工智能技术，旨在根据图像的先验知识，采用人工智能技术自动检测图片缺陷，并对缺陷进行自动修复，例如中国专利申请文献CN113781324A提出一种基于深度学习的老照片修复方法，该方法是通过深度学习网络分别提取破损老照片和完好的老照片的特征，对两者的特征进行融合处理来实现老照片的修复。其具体步骤如下：
[0004]首先由浅层特征提取模块提取参考图像的浅层特征以及待修复老照的浅层特征，送入到深层特征编码网络分别进行逐层编码获得具有不同尺度的语义特征与潜在空间编码，其中，待修复老照片与参考图像的潜在编码被送入潜在解耦融合模块提取解耦的类属性编码，然后进行类属性融合获得融合潜在编码，融合潜在编码用来引导空间先验特征变换模块提取生成式先验特征，对参考图像编码特征、待修复老照片特征和生成式先验特征进行空间融合变换，获得融合先验信息的特征与粗修复解码特征被送入特征解码重建网络逐层的进行特征解码，重建修复的老照片输出。
[0005]但是该方法在修复老照片时需要有风格接近的完好的老照片做为参考图，才有可能获得较好的修复效果，并且该方法只能修复不严重的破损、折痕等问题，对于较大面积、损坏程度较高的问题难以得到良好的修复效果。

技术实现思路

[0006]本专利技术所要解决的技术问题是：提供一种基于划痕检测及图像补全的老照片修复方法及终端，无需参考图片，且能修复破损面积较大的老照片。
[0007]为了解决上述技术问题，本专利技术采用的技术方案为：
[0008]一种基于划痕检测及图像补全的老照片修复方法，包括以下步骤：
[0009]S1、获取待修复照片，并将待修复照片输入检测网络，得到缺陷位置的语义分割图；
[0010]所述检测网络为unet模型网络，其包括编码器和解码器，所述编码器包括四个依次连接的编码器模块，各个编码器模块均包括一个卷积层、一个批正则化层和一个ReLU激
活函数，前一个编码器模块与后一个编码器模块相比，特征的通道数翻倍且特征的尺寸减半，各个解码器模块均包括一个卷积层、一个批正则化层和一个ReLU激活函数，前一个解码器模块与后一个解码器模块相比，特征的通道数减半且特征的大小翻倍，各个编码器模块和解码器模块的计算公式均为：
[0011]F＝ReLU{BN{W1×
I
g
+B1}}；
[0012]式中，g表示非线性激活函数，W1，B1分别表示卷积层的权重和偏置，BN表示批归一化函数，I
g
表示输入图片，F表示特征提取阶段得到的输出结果；
[0013]S2、将缺陷位置的语义分割图和待修复照片输入图像补全网络，得到修复后的照片；
[0014]所述图像补全网络为生成对抗网络，其包括生成器和判别器。
[0015]为了解决上述技术问题，本专利技术采用的另一种技术方案为：
[0016]一种基于划痕检测及图像补全的老照片修复终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0017]S1、获取待修复照片，并将待修复照片输入检测网络，得到缺陷位置的语义分割图；
[0018]所述检测网络为unet模型网络，其包括编码器和解码器，所述编码器包括四个依次连接的编码器模块，各个编码器模块均包括一个卷积层、一个批正则化层和一个ReLU激活函数，前一个编码器模块与后一个编码器模块相比，特征的通道数翻倍且特征的尺寸减半，各个解码器模块均包括一个卷积层、一个批正则化层和一个ReLU激活函数，前一个解码器模块与后一个解码器模块相比，特征的通道数减半且特征的大小翻倍，各个编码器模块和解码器模块的计算公式均为：
[0019]F＝ReLU{BN{W1×
I
g
+B1}}；
[0020]式中，g表示非线性激活函数，W1，B1分别表示卷积层的权重和偏置，BN表示批归一化函数，I
g
表示输入图片，F表示特征提取阶段得到的输出结果；
[0021]S2、将缺陷位置的语义分割图和待修复照片输入图像补全网络，得到修复后的照片；
[0022]所述图像补全网络为生成对抗网络，其包括生成器和判别器。
[0023]本专利技术的有益效果在于：一种基于划痕检测及图像补全的老照片修复方法及终端，通过深度学习模型识别缺陷位置，进行图像补全来实现修复，不需要参考照片，在实际使用时，具有更好的通用性，且通过unet模型能实现对于缺陷位置的识别，再通过生成对抗网络，能即使是在缺陷面积较大的情况下，依然能够保持良好的修复效果。
附图说明
[0024]图1为本专利技术实施例的一种基于划痕检测及图像补全的老照片修复方法的流程示意图；
[0025]图2为本专利技术实施例涉及的图像修复的流程示意图；
[0026]图3为本专利技术实施例涉及的检测网络的结构示意图；
[0027]图4为本专利技术实施例涉及的图像补全网络的结构示意图；
[0028]图5为本专利技术实施例涉及的检测网络的训练数据集生成的流程示意图；
[0029]图6为本专利技术实施例涉及的检测网络的训练的流程示意图；
[0030]图7为本专利技术实施例涉及的图像补全网络的训练数据集生成的流程示意图；
[0031]图8为本专利技术实施例涉及的图像补全网络的训练的流程示意图；
[0032]图9为本专利技术实施例的一种基于划痕检测及图像补全的老照片修复终端的结构示意图。
[0033]标号说明：
[0034]1、一种基于划痕检测及图像补全的老照片修复终端；2、处理器；3、存储器。
具体实施方式
[0035]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0036]请参照图1至图8，一种基于划痕检测及图像补全的老照片修复方法，包括以下步骤：
[0037]S1、获取待修复照片，并将待修复照片输入检测网络，得到缺陷位置的语义分割图；
[0038]所述检测网络为unet模型网络，其包括编码器和解码器，所述编码器包括四个依次连接的编码器模块，各个编码器模块均包括一个卷积层、一个批正则化层和一个ReLU激活函数，前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于划痕检测及图像补全的老照片修复方法，其特征在于，包括以下步骤：S1、获取待修复照片，并将待修复照片输入检测网络，得到缺陷位置的语义分割图；所述检测网络为unet模型网络，其包括编码器和解码器，所述编码器包括四个依次连接的编码器模块，各个编码器模块均包括一个卷积层、一个批正则化层和一个ReLU激活函数，前一个编码器模块与后一个编码器模块相比，特征的通道数翻倍且特征的尺寸减半，各个解码器模块均包括一个卷积层、一个批正则化层和一个ReLU激活函数，前一个解码器模块与后一个解码器模块相比，特征的通道数减半且特征的大小翻倍，各个编码器模块和解码器模块的计算公式均为：F＝ReLU{BN{W1×
I
g
+B1}}；式中，g表示非线性激活函数，W1，B1分别表示卷积层的权重和偏置，BN表示批归一化函数，I
g
表示输入图片，F表示特征提取阶段得到的输出结果；S2、将缺陷位置的语义分割图和待修复照片输入图像补全网络，得到修复后的照片；所述图像补全网络为生成对抗网络，其包括生成器和判别器。2.根据权利要求1所述的一种基于划痕检测及图像补全的老照片修复方法，其特征在于，在对检测网络进行训练时，执行以下步骤：A1、获取检测网络的训练数据集，所述检测网络的训练数据集包括一批损坏的老照片数据以及和损坏的老照片数据对应的语义分割图；A2、根据检测网络的训练数据集，训练检测网络至检测网络收敛。3.根据权利要求2所述的一种基于划痕检测及图像补全的老照片修复方法，其特征在于，所述步骤A2具体是：将检测网络的训练数据集分成多个批次，每个子周期选取一个批次执行以下步骤直到取得预设的重建效果或执行了预定的子周期数：A21、将输入的训练数据集调整至设定的检测网络训练图像大小后输入检测网络，得到检测网络的缺陷位置的语义分割图；A22、根据下式计算损失函数：式中，N是总样本数，y
i
是第i个样本的所属类别，p
i
是第i个样本的预测值；A24、根据检测网络生成的缺陷位置的语义分割图与损坏的老照片的语义分割图对比，判断是否取得预设的重建效果，若否，迭代优化模型，根据设定的检测学习率利用梯度下降优化算法更新卷积权值参数和偏置参数，并降低检测学习率，增大检测网络训练图像大小。4.根据权利要求1所述的一种基于划痕检测及图像补全的老照片修复方法，其特征在于，在对图像补全网络进行训练时，执行以下步骤：B1、获取图像补全网络的训练集，所述图像补全网络的训练集包括一批完好的老照片数据，以及在完好的老照片数据生成随机遮罩，并将遮罩区域去除的缺陷老照片；B2、根据图像补全网络的训练集，训练图像补全网络至图像补全网络收敛。5.根据权利要求4所述的一种基于划痕检测及图像补全的老照片修复方法，其特征在于，所述步骤B2具体是：
将图像补全网络的训练数据集分成多个批次，每个子周期选取一个批次执行以下步骤直到取得预设的重建效果或执行了预定的子周期数：B21、将输入的训练数据集调整至设定的图像补全网络训练图像大小后输入图像补全网络，得到图像补全网络的预测补全结果；B22、根据图像补全网络的预测补全结果和完好的老照片计算图像补全网络的损失函数；所述图像补全网络的损失函数包括生成器损失函数和判别器损失函数，所述生成器损失函数为完好的老照片数据与预测补全结果对比计算得到的均方差，或判别器对预测补全结果的真实性判定和完好的老照片数据的真实性判定的加权和；所述判别器损失函数为生成器损失函数的倒数；B23、判断图像补全网络是否取得预设的重建效果，若否，则迭代优化模型，根据设定的检测学习率利用梯度下降优化算法更新卷积权值参数和偏置参数，并降低检测学习率，增大图像补全网络训练图像大小。6.一种基于划痕检测及图像补全的老照片修复终端，包括存储...

【专利技术属性】
技术研发人员：詹文鹏，邓炜，童同，高钦泉，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：