一种基于迭代式网络的唐卡图像修复方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及基于迭代式网络的唐卡图像修复方法。基于迭代式网络的唐卡图像修复方法，包括步骤：(1)构建迭代式的图像修复网络模块：在网络中以迭代的方式从外到内逐级修复唐卡图像破损区域；(2)优化图像修复网络模块；(3)将破损唐卡图像输入至优化后的图像修复网络模块，得到修复后的目标唐卡图像。本发明专利技术结合唐卡图像的纹理与结构特征设计纹理修复网络与结构修复网络，并使用特征自适应融合模块融合图像特征，并且根据网络特点设计与之匹配的损失函数，有效地利用唐卡图像的先验信息修复破损唐卡图像，极大地提高对唐卡图像的训练效率和对破损唐卡图像修复性能表现。复性能表现。复性能表现。

【技术实现步骤摘要】
一种基于迭代式网络的唐卡图像修复方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于迭代式网络的唐卡图像修复方法。

技术介绍

[0002]图像修复是计算机视觉领域中一个重要的研究方向，其研究内容是让计算机对图像上缺失或破损的区域自动地填补图像应有的内容，使输出结果在保留原图像信息的同时尽可能真实自然。解决图像修复问题的关键在于如何让计算机“理解”自然图像从浅层到深层的信息，并利用这些信息得出图像修复结果。
[0003]唐卡是藏族文化中一种独特的绘画艺术形式，其内容涉及到藏族历史、政治、文化、社会生活等多个方面，可谓是一本藏族百科全书。不同于常见的自然图像或绘画艺术作品，唐卡包含多种色彩、复杂的结构、极其精细的纹理以及深刻的宗教和文化意义，是中华民族民间艺术中弥足珍贵的非物质文化遗产。藏文化历史悠久，随着时间的推移，壁画年久失修，许多珍贵的唐卡壁画遭到破坏。研究唐卡壁画图像修复一方面可以尽可能还原壁画中破损的部分，保护藏族文化遗产；另一方面唐卡壁画图像修复后得到完整的壁画内容，进一步挖掘唐卡壁画的文化和经济价值。传统的非数字手工修补方法不仅需要专业的唐卡绘画技巧，且极其容易导致唐卡出现不可恢复的修补结果甚至永久性损坏；而现有的数字修复方法鲜有针对唐卡图像结构和纹理特点进行修复，性能表现有待提高。

技术实现思路

[0004]为了克服以上问题，本专利技术的目的是提供一种基于迭代式网络的唐卡图像修复方法，能够有效地针对唐卡图像的图像特点，利用唐卡图像的先验信息修复破损唐卡图像，极大地提高对唐卡图像的训练效率和对破损唐卡图像修复性能表现。
[0005]一种基于迭代式网络的唐卡图像修复系统，包括图像输入模块、图像修复网络模块、总损失计算模块、和图像输出模块；
[0006]图像输入模块，用于将破损唐卡图像输入到图像修复网络模块中；
[0007]图像修复网络模块包括由编码器单元、区域识别单元、纹理修复单元与结构修复单元、特征自适应融合单元和解码器单元，连接形成神经网络；
[0008]总损失计算模块，用于对图像修复网络模块进行训练，以迭代优化图像修复网络模块的参数；其中，总损失计算模块的总损失函数由像素重建损失函数、内容损失函数和风格损失函数叠加构成：
[0009]所述像素重建损失的表达式为：
[0010][0011]公式(1)中，X
i
与X
′
i
分别为原唐卡图像与对应修复唐卡图像上的像素，m为该样本图像所有像素的个数，c是用于稳定计算过程的极小常数；
[0012]所述内容损失的表达式为：
[0013][0014]公式(2)中，Φ
i
(
·
)代表用来将图像转换到特征空间的函数；i是该函数中某输出层；
[0015]所述风格损失表达式为：
[0016][0017]公式(3)中，G(
·
)为对特征图进行Gram矩阵计算操作；
[0018]所述总损失函数为：
[0019][0020]公式(4)中，为像素重建损失，为内容损失，为风格损失，λ
Char
、λ
content
和λ
style
为平衡各部分损失函数权重的参数；
[0021]图像输出模块，用于输出经总损失计算模块训练后图像修复网络模块生成的修复唐卡图像。
[0022]作为优选方案，所述图像修复网络模块中的编码器单元和解码器单元均为多层卷积层结构；编码器单元的卷积层均使用部分卷积，解码器单元的卷积层使用转置卷积和部分卷积，每个卷积层的下层使用BatchNorm构建归一化层。
[0023]作为优选方案，所述图像修复网络模块中的区域识别单元为部分卷积级联组成，部分卷积利用破损唐卡图像的二值掩码图区分出了破损唐卡图像的有效区域和空洞区域，使对破损唐卡图像的卷积仅依赖于有效区域；通过部分卷积生成新的特征点x
′
的公式表示为：
[0024][0025]公式(5)中，W为普通卷积的卷积核参数，b为偏差，X为当前卷积核在输入特征图上对应的滑动窗口，M为该滑动窗口对应的二值遮挡图，
⊙
代表矩阵元素点乘操作；
[0026]若当前卷积核对应的滑动窗口全部来自于空洞区域，那么该窗口生成的特征点会被直接置为0。
[0027]作为优选方案，所述图像修复网络模块中的纹理修复单元与结构修复单元由下采样层、特征修复层和上采样层组成；
[0028]纹理修复单元中，下采样层由三层卷积组成，此三层卷积自上而下为一层步长为2，卷积核大小为3*3的卷积以及两层步长为1，卷积核大小为3*3的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率分别为2、4、8；上采样层由三层转置卷积组成，此三层卷积为三层卷积核大小为4*4，步长为2的转置卷积；
[0029]结构修复单元中，下采样层由三层卷积组成，此三层卷积为三层卷积核大小为3*3，步长为2的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率均为2，上采样层由三层转置卷积组成，此三层卷积为三层卷积核
大小为4*4，步长为2的转置卷积。
[0030]作为优选方案，所述纹理修复单元与结构修复单元中的特征修复层的扩张卷积公式如下：
[0031][0032]设输入特征图为x，其中每个像素坐标为i，卷积核为w，扩张率为r，输出特征图为y。
[0033]作为优选方案，所述图像修复网络模块中特征自适应融合的表达式为：
[0034][0035]公式(7)中，M
i
是第i次迭代的遮挡图；F
i
是第i次迭代生成的特征图；
⊙
代表矩阵元素点乘操作；F
out
是最终的融合特征图。
[0036]一种基于迭代式网络的唐卡图像修复系统对唐卡图像进行修复的方法，包括步骤：
[0037]1、构建迭代式网络的图像修复网络模块；
[0038]1a、编码器单元对破损唐卡图像抽取纹理细节特征和全局结构特征，得到初步的图像高层语义信息，并送至区域识别单元中；
[0039]1b、区域识别单元提取本轮迭代所修复的区域得到特征图，将特征图送入纹理修复单元与结构修复单元分别进行修复。每轮迭代后，区域识别单元从上一轮特征自适应融合单元产生的特征图中提取本轮迭代所修复的区域，再次送入纹理修复单元与结构修复单元修复；
[0040]1c、特征图分别经过纹理修复单元与结构修复单元，并生成两个修复后的特征图，送入特征自适应融合单元进行结合，产生一轮迭代的结果并保存，之后将该结果送入区域识别单元进行下一轮迭代；
[0041]1d、纹理修复单元中，下采样层对区域识别输出的特征图进行下采样处理，并送至特征修复层；特征修复层对图像纹理细节信息进行修复，得到对应修复特征图并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迭代式网络的唐卡图像修复系统，其特征在于，包括图像输入模块、图像修复网络模块、总损失计算模块、和图像输出模块；图像输入模块，用于将破损唐卡图像输入到图像修复网络模块中；图像修复网络模块包括由编码器单元、区域识别单元、纹理修复单元与结构修复单元、特征自适应融合单元和解码器单元，连接形成神经网络；总损失计算模块，用于对图像修复网络模块进行训练，以迭代优化图像修复网络模块的参数；总损失计算模块的构建过程为：首先，建立训练集，训练集中每个训练样本包括：原唐卡图像、表示缺损区域的掩码图以及将原唐卡图像和表示缺损区域的掩码图进行融合得到破损唐卡图像；每个训练样本对应输出的训练结果为：利用图像修复网络模块修复得到的修复唐卡图像；然后利用VGG16模型构建总损失计算模块：其中，总损失计算模块的总损失函数由像素重建损失函数、内容损失函数和风格损失函数叠加构成：所述像素重建损失的表达式为：公式(1)中，X
i
与X
′
i
分别为原唐卡图像与对应修复唐卡图像上的像素，m为该样本图像所有像素的个数，c是用于稳定计算过程的极小常数；所述内容损失的表达式为：公式(2)中，Φ
i
(
·
)代表用来将图像转换到特征空间的函数；i是该函数中某输出层；所述风格损失表达式为：公式(3)中，G(
·
)为对特征图进行Gram矩阵计算操作；所述总损失函数为：公式(4)中，为像素重建损失，为内容损失，为风格损失，λ
Char
、λ
content
和λ
style
为平衡各部分损失函数权重的参数；图像输出模块，用于输出经总损失计算模块训练后图像修复网络模块生成的修复唐卡图像。2.根据权利要求1所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的编码器单元和解码器单元均为多层卷积层结构；编码器单元的卷积层均使用部分卷积，解码器单元的卷积层使用转置卷积和部分卷积，每个卷积层的下层使用BatchNorm构建归一化层。3.根据权利要求2所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的区域识别单元为部分卷积级联组成，部分卷积利用破损唐卡图像的二值掩码图区分出了破损唐卡图像的有效区域和空洞区域，使对破损唐卡图像的卷积仅依赖于有效区域；通过部分卷积生成新的特征点x
′
的公式表示为：
公式(5)中，W为普通卷积的卷积核参数，b为偏差，X为当前卷积核在输入特征图上对应的滑动窗口，M为该滑动窗口对应的二值遮挡图，
⊙
代表矩阵元素点乘操作；若当前卷积核对应的滑动窗口全部来自于空洞区域，那么该窗口生成的特征点会被直接置为0。4.根据权利要求3所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的纹理修复单元与结构修复单元由下采样层、特征修复层和上采样层组成；纹理修复单元中，下采样层由三层卷积组成，此三层卷积自上而下为一层步长为2，卷积核大小为3*3的卷积以及两层步长为1，卷积核大小为3*3的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率分别为2、4、8；上采样层由三层转置卷积组成，此三层卷积为三层卷积核大小为4*4，步长为2的转置卷积；结构修复单元中，下采样层由三层卷积组成，此三层卷积为三层卷积核大小为3*3，步长为2的卷积；特征修复层由三层扩张卷...

【专利技术属性】
技术研发人员：刘永坚，李嘉伟，解庆，马艳春，胡桉澍，白立华，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：