【技术实现步骤摘要】
本专利技术属于计算机应用，具体涉及到图像修复。
技术介绍
1、中国古画作为我国宝贵的文化遗产，具有极高的文化和艺术价值。随着时间的流逝和其他外界因素的干扰，许多古画遭受了大面积的损坏和褪色。传统的手工修复方法容易受到人力和技术的限制，难以应对大规模修复的需求，且使用物理和化学的手段可能会损坏原画。近年来，数字化修复技术得到了广泛应用。借助计算机技术和图像处理方法，数字化修复可以更加精准地还原古画的原貌，同时缩短修复时间并降低了古画再次受损的风险。因此，引入数字化修复技术对古画修复领域具有重要研究价值。
2、数字化修复主要依赖于已知区域与受损区域之间的相关性，利用已知像素信息重建缺失的像素，进而恢复缺失区域的真实内容。根据修复方法的不同，数字化修复可分为传统方法和深度学习方法两大类。传统方法可进一步分为基于扩散的方法和基于样例的方法。基于扩散的方法主要利用偏微分方程将像素逐步扩散至缺失区域。但该方法存在误差传播问题，导致修复区域过于平滑，不适用于较大面积的修复。基于样例的方法解决了基于扩散方法所存在的过度平滑问题，但是检索速度和匹配效率较低，随着填充的进行，置信度也会随之降低。
3、近年来，深度学习方法取得了显著进展，已成为当前数字化修复的前沿技术之一。这些方法利用卷积神经网络(cnn)和生成对抗网络(gan)等深度学习模型，学习古画图像的特征和语义信息，使其在复杂场景下也能够产生自然且逼真的修复结果。但古画通常蕴含丰富的线条结构信息，基于深度学习的方法在修复古画时往往会存在特征提取不足和边缘结构丢失等缺点
技术实现思路
1、本专利技术所要解决的技术问题在于克服上述现有技术的缺点，提供一种基于边缘引导与多尺度残差块的古画修复方法。
2、解决上述技术问题所采用的技术方案是由下述步骤组成。
3、(1)建立古画修复数据集
4、从博物馆网站中获取的千里江山图、汉宫春晓图、富春山居图以及清明上河图作为样本数据来源，将其裁剪成高h宽w为256×256像素的古画样本，构成古画修复数据集，将古画修复数据集按照7：2：1划分为训练集、验证集、测试集。
5、(2)构建古画修复网络
6、古画修复网络由古画补全网络与色彩校正网络、马尔可夫判别器依次串联构成；
7、所述的古画补全网络由下采样模块与极化自注意力机制模块、多尺度残差块组、上采样模块依次串联构成。
8、所述的色彩校正网络由下采样模块与极化自注意力机制模块、普通残差块组、上采样模块依次串联构成；所述普通残差块组由4个普通残差块串联构成。
9、(3)训练古画修复网络
10、1)确定模型整体损失函数
11、模型整体损失函数ltotal包括感知损失函数lperceptual、l1损失函数l1、直方图损失函数lhistogram、总变分损失函数ltv。
12、按下式确定感知损失函数lperceptual：
13、
14、其中，y表示真实古画，x表示修复结果，fi(x)和fi(y)分别表示vgg19网络的输出特征，n是特征层数。
15、按下式确定l1损失函数l1：
16、
17、其中，f(xk)和yk分别表示第k个样本的修复结果及对应完整古画，n为样本数，n取值为有限的正整数。
18、按下式确定直方图损失函数lhistogram：
19、
20、其中，wl是第l层的权重参数，ol表示激活层，r表示直方图匹配，r(ol)是经过直方图匹配后的激活层，l为总层数，‖·‖f表示弗罗贝尼乌斯范数。
21、按下式确定总变分损失函数ltv：
22、
23、其中，i和j表示像素位置坐标，xi,j表示输入图像中的一个像素点，s、t分别为图像宽和高。
24、按下式确定整体损失函数ltotal：
25、ltotal＝λ1lperceptual+λ2l1+λ3lhistogram+λ4ltv
26、其中，λ1∈(0,1]、λ2∈(0,1]、λ3∈(0,1]、λ4∈(0,1]分别为感知损失函数lperceptual、l1损失函数l1、直方图损失函数lhistogram、总变分损失函数ltv的权重。
27、2)训练古画修复网络
28、将古画修复训练集输入到古画修复网络中进行训练，将判别器和生成器的学习率分别设置为0.0001、0.00001，批处理大小为8，采用adam优化器优化生成器和判別器的参数，训练至模型整体损失函数ltotal收敛。
29、(4)保存模型
30、在训练古画修复网络的过程中，每迭代200次，保存一次权重文件。
31、(5)验证古画修复网络
32、将验证集输入到训练后的古画修复网络中进行验证。
33、(6)测试古画修复网络
34、将测试集输入到训练后的古画修复网络中进行测试，加载权重文件，得到修复后的古画。
35、在本专利技术的步骤(2)构建古画修复网络中，所述的下采样模块由卷积核大小为7×7且步长为1的卷积层1与实例归一化层1、relu激活函数层1、卷积核大小为4×4且步长为2的卷积层2、实例归一化层2、relu激活函数层2、卷积核大小为4×4且步长为2的卷积层3、实例归一化层3、relu激活函数层3、卷积核大小为4×4且步长为2的卷积层4、实例归一化层4、relu激活函数层4依次串联构成。
36、在本专利技术的步骤(2)构建古画修复网络中，所述的上采样模块由卷积核大小为3×3且步长为1的卷积层5与实例归一化层5、relu激活函数层5、卷积核大小为3×3且步长为1的卷积层6、实例归一化层6、relu激活函数层6、卷积核大小为3×3且步长为1的卷积层7、实例归一化层7、relu激活函数层7、卷积核大小为3×3且步长为1的卷积层8、实例归一化层8、relu激活函数层8依次串联构成。
37、在本专利技术的步骤(2)构建古画修复网络中，所述的多尺度残差块组由4个多尺度残差块串联构成。
38、本专利技术的多尺度残差块由5×5卷积分支与3×3卷积分支并联后，再与concat层、1×1卷积层13、senet模块依次串联构成，
39、本专利技术的5×5卷积分支由卷积核大小为5×5且步长为1的卷积层9与relu激活函数层9、卷积核大小为5×5且步长为1的卷积层10、relu激活函数层10依次串联构成。
40、本专利技术的3×3卷积分支由卷积核大小为3×3且步长为1的卷积层11、relu激活函数层11、卷积核大小为3×3且步长为1的卷积层12、relu激活函数层12依次串联构成。
41、由于本专利技术使用古画边缘图来引导古画补全网络生成完整古画，使得修复的内容与原始边缘相吻合；采用多尺度残差块来学习古画不同尺度的语义特征，有效地修复了受损区域的纹理和颜本文档来自技高网...
【技术保护点】
1.一种基于边缘引导与多尺度残差块的古画修复方法，其特征在于由下述步骤组成：
2.根据权利要求1所述的基于边缘引导与多尺度残差块的古画修复方法，其特征在于：在步骤(2)构建古画修复网络中，所述的下采样模块由卷积核大小为7×7且步长为1的卷积层1与实例归一化层1、ReLU激活函数层1、卷积核大小为4×4且步长为2的卷积层2、实例归一化层2、ReLU激活函数层2、卷积核大小为4×4且步长为2的卷积层3、实例归一化层3、ReLU激活函数层3、卷积核大小为4×4且步长为2的卷积层4、实例归一化层4、ReLU激活函数层4依次串联构成。
3.根据权利要求1所述的基于边缘引导与多尺度残差块的古画修复方法，其特征在于：在步骤(2)构建古画修复网络中，所述的上采样模块由卷积核大小为3×3且步长为1的卷积层5与实例归一化层5、ReLU激活函数层5、卷积核大小为3×3且步长为1的卷积层6、实例归一化层6、ReLU激活函数层6、卷积核大小为3×3且步长为1的卷积层7、实例归一化层7、ReLU激活函数层7、卷积核大小为3×3且步长为1的卷积层8、实例归一化层8、ReLU激活函数层8
4.根据权利要求1所述的基于边缘引导与多尺度残差块的古画修复方法，其特征在于：在步骤(2)构建古画修复网络中，所述的多尺度残差块组由4个多尺度残差块串联构成。
5.根据权利要求4所述的基于边缘引导与多尺度残差块的古画修复方法，其特征在于：所述的多尺度残差块由5×5卷积分支与3×3卷积分支并联后，再与Concat层、1×1卷积层13、SENet模块依次串联构成。
6.根据权利要求5所述的基于边缘引导与多尺度残差块的古画修复方法，其特征在于：所述的5×5卷积分支由卷积核大小为5×5且步长为1的卷积层9与ReLU激活函数层9、卷积核大小为5×5且步长为1的卷积层10、ReLU激活函数层10依次串联构成。
7.根据权利要求5所述的基于边缘引导与多尺度残差块的古画修复方法，其特征在于：所述的3×3卷积分支由卷积核大小为3×3且步长为1的卷积层11、ReLU激活函数层11、卷积核大小为3×3且步长为1的卷积层12、ReLU激活函数层12依次串联构成。
...【技术特征摘要】
1.一种基于边缘引导与多尺度残差块的古画修复方法，其特征在于由下述步骤组成：
2.根据权利要求1所述的基于边缘引导与多尺度残差块的古画修复方法，其特征在于：在步骤(2)构建古画修复网络中，所述的下采样模块由卷积核大小为7×7且步长为1的卷积层1与实例归一化层1、relu激活函数层1、卷积核大小为4×4且步长为2的卷积层2、实例归一化层2、relu激活函数层2、卷积核大小为4×4且步长为2的卷积层3、实例归一化层3、relu激活函数层3、卷积核大小为4×4且步长为2的卷积层4、实例归一化层4、relu激活函数层4依次串联构成。
3.根据权利要求1所述的基于边缘引导与多尺度残差块的古画修复方法，其特征在于：在步骤(2)构建古画修复网络中，所述的上采样模块由卷积核大小为3×3且步长为1的卷积层5与实例归一化层5、relu激活函数层5、卷积核大小为3×3且步长为1的卷积层6、实例归一化层6、relu激活函数层6、卷积核大小为3×3且步长为1的卷积层7、实例归一化层7、relu激活函数层7、卷积核大小为3×3且步长为1的卷积层...
【专利技术属性】
技术研发人员：孙增国，雷棪棪，吴晓军，刘佳兴，张志远，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。