【技术实现步骤摘要】
本专利技术涉及数字图像处理，具体为一种唐卡图像修复方法、系统及存储介质。
技术介绍
1、在数字图像处理领域，图像修复技术一直是研究的热点，其目的在于通过计算方法修复受损的图像内容，以便恢复图像的完整性和美观性；这一领域起始于20世纪末，早期主要依赖简单的插值算法，如最近邻插值和双线性插值；进入21世纪，随着计算机视觉和机器学习的快速发展，图像修复技术得到了显著的提升；尤其是深度学习的兴起，使得基于神经网络的图像修复方法，如卷积神经网络(cnn)和生成对抗网络(gan)，逐渐成为主流，它们能够学习大量数据的复杂映射，实现高度复杂的图像修复效果；然而，传统方法和早期深度学习方法在处理具有丰富纹理和复杂结构的图像，然而，与自然图像不同，唐卡中佛像的服饰、法器或者背景中的花蔓、云朵、山水的图案复杂精美，细节丰富，面对这类唐卡图像时，这类方法预测的先验信息的准确性会大大降低，导致在填充内部纹理时出现大范围的修复错误；如唐卡等艺术品图像时，仍然面临着巨大挑战；
2、现有技术的不足主要体现在，对高度结构化和精细详细的图像内容修复上的局限性；尤其是唐卡图像，通常包含精细的线条和复杂的图案，这些内容一旦破坏，使用简单的纹理复制或基本的学习模型难以达到令人满意的修复效果；此外，现有技术在修复过程中往往忽略了图像的全局一致性和局部细节的恢复，导致修复后的图像在视觉上无法与原图无缝对接；更为关键的是，大多数方法未能有效利用图像内在的结构信息，无法保持图像修复过程中的结构完整性，尤其是在存在大面积损坏时，这一问题尤为突出；而生成对抗网络(ga
3、在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本专利技术的目的在于提供一种唐卡图像修复方法、系统及存储介质，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种唐卡图像修复方法，具体步骤包括：
4、步骤s1、收集包含破损部分和缺失部分的唐卡图像，并对收集的唐卡图像进行预处理，将预处理后的唐卡图像构建为图像数据集；
5、步骤s2、构建基于transformer模型的编码器-解码器结构，并用于共同学习一个离散码本，将图像数据集内部的唐卡图像输入至构建的编码器内部，利用编码器将输入的唐卡图像划分为固定大小的非重叠子区域，并将子区域通过非线性变换映射到连续的潜在空间表示，得到特征向量；
6、步骤s3、引入矢量量化码本，对编码器输出的连续潜在特征向量进行矢量量化，所述离散码本采用聚类算法构建，码本中的每个向量代表图像中的一块子区域的潜在空间表示，最后将得到的离散码本作为码本先验知识；
7、步骤s4，构建并行cswin分辨率transformer模块，该模块采用十字形窗口以及局部增强位置编码的设计，将步骤s3中特征向量作为输入，并对该特征向量添加额外的可学习位置嵌入以保留空间信息，随后将特征向量沿空间维度扁平化，从而获得该模块的最终输入，以预测下一个索引的概率分布；
8、步骤s5、利用步骤s4中并行cswin分辨率transformer模块来准确推断缺失token的索引，并通过这些索引从步骤s3中得到的离散码本中找到对应的离散向量，用于图像修复，完成一次修复尝试后，系统将进入迭代循环；
9、步骤s6，在每次迭代后，采集生成的修复图像，并获取该修复图像的结构相似性指数、峰值信噪比psnr，并对相似性指数、峰值信噪比psnr进行分析处理，生成综合质量评价指数qi，该指数用于对图像质量、修复效果进行评价，并生成相应的学习率二次调整策略；
10、步骤s7，在自适应学习率调整的基础上，设计多尺度特征引导模块，该模块利用非破损区域的特征，以促进生成区域与未损坏区域在结构和纹理上的一致性，从而提升修复结果的质量和保真度；
11、步骤s8、在修复过程中，根据步骤s6生成的综合质量评价指数qi和学习率调整策略，动态调整模型的学习率，以优化修复效果；
12、步骤s9、完成所有迭代后，对最终修复的唐卡图像进行后处理，包括但不限于图像增强、颜色校正和细节优化，以提高修复图像的质量和视觉效果，最终输出修复后的唐卡图像。
13、进一步地，在每次迭代后，采集生成的修复图像，并获取该修复图像的结构相似性指数、峰值信噪比psnr，并对相似性指数、峰值信噪比psnr进行分析处理，生成综合质量评价指数qi，该指数用于对图像质量、修复效果进行评价，并生成相应的学习率二次调整策略；
14、在每次迭代后，采集生成的修复图像，并计算以下质量参数：
15、结构相似性指数ssim如下：
16、
17、其中，x和y分别是参考图像和修复图像的局部窗口，μx、μy是均值，是方差，σxy是协方差，c1、c2是常数，用于稳定计算；
18、峰值信噪比psnr如下：
19、
20、其中，maxi是图像像素的最大值，mse(x,y)是均方误差；
21、综合ssim和psnr，生成一个综合质量评价指数qi，计算公式如下：
22、
23、参数解释，ωi为权重因子，用于平衡不同质量评估指标的影响，其中ω1、ω2、ω3、ω4分别对应ssim、psnr、fsim和niqe的权重；
24、f(metrici″′)为复杂函数，i″′∈{1、2、3、4}，其中metrici″′中i″′分别取值1、2、3、4时，分别代表ssim、psnr、fsim、niqe，用于对每个质量评估指标进行非线性变换，公式如下：
25、f(ssim)＝log(1+ssim)
26、f(psnr)＝exp(-psnr/100)
27、
28、g(niqe)为归一化函数，用于调整niqe的影响，x∈niqe；
29、设定qi的值域范围为(0,1)，当qi接近1时，表示图像质量接近原始图像，修复效果良好；当qi接近0时，表示图像质量较差，修复效果不佳。
30、进一步地，当qi值增加时，表示图像修复质量提高，图像更接近原始图像的视觉和结构特征；反之，qi值减少表示修复效果不佳，需要调整模型参数或训练策略；
31、根据这些指标的变化情况，动态调整生成器和判别器的学习率，如果质量评价指标提升缓慢或下降，增加学习率以探索新的参数空间；如果质量评价指标稳定提升，则保持或适度降低学习率，以稳定训练；具体包括以下内容：
32、根据生成的质量评价指数qi，对学习率进行二次调整：
33、lrt+1＝lrt·(1+β5·(qit-qitarg本文档来自技高网...
【技术保护点】
1.一种唐卡图像修复方法，其特征在于，具体步骤包括：
2.根据权利要求1所述的一种唐卡图像修复方法，其特征在于：在共享码本学习阶段，系统架构包含三个核心组件，依次为码本编码器E、码本解码器G以及一个含有K个离散编码的码本
3.根据权利要求2所述的一种唐卡图像修复方法，其特征在于：所述码本编码器E设计点包括共享码本学习阶段的编码器设计成以非重叠补丁方式，并通过多个线性残差层处理输入图像；
4.根据权利要求3所述的一种唐卡图像修复方法，其特征在于：训练所述PCT模块以预测下一个索引的概率分布p(si|s<i)；使训练目标等于最小化数据表示的负对数似然性；
5.根据权利要求4所述的一种唐卡图像修复方法，其特征在于：在每次迭代后，采集生成的修复图像，并获取该修复图像的结构相似性指数、峰值信噪比PSNR，并对相似性指数、峰值信噪比PSNR进行分析处理，生成综合质量评价指数QI，该指数用于对图像质量、修复效果进行评价，并生成相应的学习率二次调整策略；
6.根据权利要求5所述的一种唐卡图像修复方法，其特征在于：当QI值增加时，表
7.根据权利要求6所述的一种唐卡图像修复方法，其特征在于：所述设计多尺度特征引导模块，该模块利用非破损区域的特征，以促进生成区域与未损坏区域在结构和纹理上的一致性，从而提升修复结果的质量和保真度；具体包括以下内容：
8.一种唐卡图像修复系统，其特征在于：所述系统用于执行权利要求1-7任意一项所述的方法。
9.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7中任一项所述唐卡图像修复方法的步骤。
...【技术特征摘要】
1.一种唐卡图像修复方法，其特征在于，具体步骤包括：
2.根据权利要求1所述的一种唐卡图像修复方法，其特征在于：在共享码本学习阶段，系统架构包含三个核心组件，依次为码本编码器e、码本解码器g以及一个含有k个离散编码的码本
3.根据权利要求2所述的一种唐卡图像修复方法，其特征在于：所述码本编码器e设计点包括共享码本学习阶段的编码器设计成以非重叠补丁方式，并通过多个线性残差层处理输入图像；
4.根据权利要求3所述的一种唐卡图像修复方法，其特征在于：训练所述pct模块以预测下一个索引的概率分布p(si|s<i)；使训练目标等于最小化数据表示的负对数似然性；
5.根据权利要求4所述的一种唐卡图像修复方法，其特征在于：在每次迭代后，采集生成的修复图像，并获取该修复图像的结构相似性指数、峰值信噪比psnr，并对相似性指数、峰值信噪比psnr进行...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。