【技术实现步骤摘要】
本专利技术涉及计算机视觉及图像修复，具体地说，涉及一种基于卷积神经网络和扩散模型的纸本经图数字化修复方法。
技术介绍
1、川西南纸本经图是藏羌彝走廊地区文化研究不可多得的文化资源，具有深刻文化内涵和重要艺术价值，由于纸本经图年代久远，长期受到自然环境的损害，很多已经残破甚至不可辨析，难以形成良性的文化传播和影响。目前川西南地区纸本经图的修复工作主要采用人工手段，遵循以下的三个步骤进行：(1)文化识别，尽可能识别其身份含义，对于缺失严重的图样需寻找对应的文化元素进行重绘；(2)根据原作和其他参考资料进行线稿绘制；(3)根据原作进行填色与再制，最终形成数字化。然而，采取人工手段进行图像修复，效率低下，这不仅考验绘画人员的美术功底，也需要花大量的时间去调研文物时代背景、工艺特点等等，整个过程周期长，非常耗时耗精力。
2、首先，线稿作为数字化图像修复中的重要组成部分，可以表现经图各个部位以及整体的结构信息，用于辅助经图临摹复原，目前主要的线稿提取技术有以下几种方式：
3、传统算法将手工制作的底层特征(如颜色、亮度、纹理、梯度)作为图像线稿检测的优先级。有学者提出了一种交互式线描生成技术，包括三个阶段：提取壁画的完整结构、补充壁画的内容线条以及整体线描的融合与矢量化优化。该方法交互性强，但在结构提取过程中，参数调节对于不同的壁画有比较大的影响，人为参与的因素在一定程度上降低了线描生成技术的应用场景和使用范围。
4、另外，多数文物图像经过人为或者自然因素的破坏后会存在大量的噪声，采用低水平的图像处理方法很
5、基于深度学习的算法利用网络模型从数据集中自动学习图像特征，可以去除一定量的人为因素，提取到更为准确与完整的线稿图，让线描生成过程更加实用。有学者提出了基于双向级联网络的彩绘文物线条提取算法，通过卷积神经网络学习多尺度特征来提取整体轮廓与细节信息。有学者在此基础上提出了细节感知层次化彩绘文物线稿提取框架，包括了两个阶段：集成fdog算子和bdcn网络对图像进行初步线稿提取，利用改进的msu-net网络对线稿进行细化。
6、其次，将线稿转换为数字化图像，需要进行着色，以补充色彩信息，使其更加逼真和生动，最终生成的图像不仅具有更高的艺术性，也更有利于传播。目前主要的图像着色技术有以下几种方式：
7、人工着色是最传统的线稿着色方式，由人工根据线稿的轮廓和细节进行着色，这种方式可以获得最理想的效果，但也需要大量的人工成本和时间。
8、软件着色利用软件工具进行线稿着色，可以快速生成色彩丰富的图像。常用的软件工具包括photoshop、sai、clip studio paint等，可以根据用户的需求进行调整，但也需要一定的绘画基础。
9、利用人工智能技术进行线稿着色，可以自动生成色彩合理的图像，例如经典的风格迁移算法cyclegan，需要有大量的线稿图风格的图片和经图图像风格的图片，可以快速生成高质量的图像，但是对于特定的输入只能得到特定的输出，而且产生的图像有时清晰度不高，会缺乏真实感。
技术实现思路
1、本专利技术的内容是提供一种基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其能够克服文物图像复杂的色彩、结构以及受开裂、褪色、表面污染等病害较多的特点为数字化修复工作带来的阻碍，同时充分利用人工线稿、文字标签等作为先验知识。
2、根据本专利技术的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，包括以下步骤：
3、s1、图像预处理：使用开源工具labelme标注纸本经图；
4、s2、训练和微调基于cnn的边缘检测模型dexined，获得草图；
5、s3、加入交互信息，用户可在草图的基础上增加或者删除线条；
6、s4、准备高质量线稿图的数据，训练基于dm的风格迁移模型inst；
7、s5、调整参数优化模型，获得线稿图；
8、s6、构建数据集：准备用于训练的素材图片，并为每张图片标注文字作为标签；
9、s7、训练stable diffusion：使用lora技术进行微调，获得具有经图画风的模型；
10、s8、利用controlnet进行推理：加入线稿条件，在经图风格的模型上输入文字实现着色功能。
11、作为优选，s1中，利用开源工具labelme，人工标注500对原图和标签数据，数据增强7200对，用于微调阶段使用。
12、作为优选，s2中，dexined的上采样块能生成中间的边缘映射馈送到网络末端的学习滤波器堆栈，产生融合的边缘映射，实现层与层之间的有效连接，损失函数如下：
13、
14、以及
15、其中w是所有网络参数的集合，w是n个相应的参数，δ是每个尺度级别的权重；β＝|y-|/|y++y-|，(1-β)＝|y+|/|y++y-|，y-和y+分别代表gt中的边缘和非边缘，j代表具体的边缘点，x，y代表输入原始图片及其对应的边缘图的集合，y代表具体的边缘图，σ代表模型预测的边缘点。
16、作为优选，s3中，当草图结果理想时跳过交互；当经图原图受损严重的时候，加入交互信息，用户在草图的基础上增加或者删除线条，再送入风格迁移网络。
17、作为优选，s4中，inst目标是从一张图像中就能学习到其风格；其采用的方法为将风格视为一种新的文字，通过基于注意力机制的文本反演，将风格图片转换为文本向量用于控制ldm进行条件生成；
18、其优化目标为：
19、
20、其中是可学习的文本编码；∈是标准高斯分布；zt是当前时间布下的图片像素分布；multiatt代表多头注意力层；∈θ代表unet根据输入的参数对噪声的预测；τθ代表图片编码器，将输入图片y编码为向量；t代表采样的时间步。
21、同时inst考虑到初始噪声对生成结果的影响，将图像到噪声映射的过程定义为一个反演问题，并提出了随机反演来保持内容图像的语义；在去噪过程中的∈t可以表示为：
22、
23、其中μ，σ代表均值与方差。t代表最终时间步。
24、作为优选，s5中，调整参数优化模型时，通过输入原始草图、提示文字以及迁移强度三个指标指导模型进行采样；输入原始草图为人工修改后的边缘图像，提示文字为艺术专家对原破损经图的语义描述，迁移强度为0.5。
25、作为优选，s6中，使用专家人工标注的文字进行训练，共构建了100个文本图像对。
26、本专利技术设计了基于卷积神经网络和扩散模型的纸本经图数字化修复技术，主要包括线稿提取和填色再绘这两个部分，能够更好地适应川西南经图文物图像特征，自动化检测达到了理想的效果，寻找到了“ai+艺术”的纸本图像修复和活化路径，可以广泛适用本文档来自技高网...
【技术保护点】
1.基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：S1中，利用开源工具LabelMe，人工标注500对原图和标签数据，数据增强7200对，用于微调阶段使用。
3.根据权利要求2所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：S2中，DexiNed的上采样块能生成中间的边缘映射馈送到网络末端的学习滤波器堆栈，产生融合的边缘映射，实现层与层之间的有效连接，损失函数如下：
4.根据权利要求3所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：S3中，当草图结果理想时跳过交互；当经图原图受损严重的时候，加入交互信息，用户在草图的基础上增加或者删除线条，再送入风格迁移网络。
5.根据权利要求4所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：S4中，InST目标是从一张图像中就能学习到其风格；其采用的方法为将风格视为一种新的文字，通过基于注意力机制的文本反演，将风
6.根据权利要求5所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：S5中，调整参数优化模型时，通过输入原始草图、提示文字以及迁移强度三个指标指导模型进行采样；输入原始草图为人工修改后的边缘图像，提示文字为艺术专家对原破损经图的语义描述，迁移强度为0.5。
7.根据权利要求6所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：S6中，使用专家人工标注的文字进行训练，共构建了100个文本图像对。
...【技术特征摘要】
1.基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：s1中，利用开源工具labelme，人工标注500对原图和标签数据，数据增强7200对，用于微调阶段使用。
3.根据权利要求2所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：s2中，dexined的上采样块能生成中间的边缘映射馈送到网络末端的学习滤波器堆栈，产生融合的边缘映射，实现层与层之间的有效连接，损失函数如下：
4.根据权利要求3所述的基于卷积神经网络和扩散模型的纸本经图数字化修复方法，其特征在于：s3中，当草图结果理想时跳过交互；当经图原图受损严重的时候，加入交互信息，用户在草图的基础上增加或者删除线条，再送...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。