【技术实现步骤摘要】
本专利技术属于深度学习的，特别是涉及一种图像霉斑移除方法、系统、存储介质及电子设备。
技术介绍
1、书画是文化传承的重要载体之一。但是，由于存世久远、人为因素的影响以及书画本身较为脆弱的特质使其易遭受各种病害。霉斑是其中常见的一种。这主要由于环境湿度大，纸张纤维、浆糊等受潮而产生霉菌，进而形成霉斑污渍。霉斑修复主要用清水和高锰酸钾、草酸水等化学试剂对霉斑处进行清洗，但清洗程度却主要依靠经验，清洗不足无法达到理想效果，清洗过量则可能损伤书画的纸张纤维，易造成纸质变脆或者粉化以及画体颜料颜色变浅等后果。因此，利用数字图像或光谱成像进行虚拟修复，为书画霉斑清洗提供参考依据，在不损伤书画的同时，尽可能恢复画作原貌，已成为书画保护修复中的研究热点。
技术实现思路
1、鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种图像霉斑移除方法、系统、存储介质及电子设备，基于大语言模型和扩散模型实现图像霉斑移除的去除，快速高效。
2、第一方面，本专利技术提供一种图像霉斑移除方法，所述方法包括以下步骤：获取带有霉斑的图像；提取所述图像的图像特征；获取指示文本，所述指示文本用于指示移除图像中指定位置的霉斑；提取所述指示文本的文本特征；将所述文本特征和所述图像特征输入大语言模型，获取视觉特征；将所述图像和所述视觉特征输入扩散模型，获取移除霉斑后的图像。
3、在第一方面的一种实现方式中，基于vit模型提取所述图像的图像特征。
4、在第一方面的一种实现方式中，基于分词器和
5、在第一方面的一种实现方式中，将所述大语言模型的输出特征的最后一个位置处的特征作为所述视觉特征。
6、在第一方面的一种实现方式中，所述扩散模型采用diffusion模型。
7、在第一方面的一种实现方式中，所述diffusion模型的每个块中包含有一个交叉注意力层。
8、在第一方面的一种实现方式中，所述图像作为所述交叉注意力层的q向量，所述视觉特征作为所述交叉注意力层的k向量和v向量。
9、第二方面，本专利技术提供一种图像霉斑移除系统，所述系统包括第一获取模块、第一提取模块、第二获取模块、第二提取模块、处理模块和移除模块；
10、所述第一获取模块用于获取带有霉斑的图像；
11、所述第一提取模块用于提取所述图像的图像特征；
12、所述第二获取模块用于获取指示文本，所述指示文本用于指示移除图像中指定位置的霉斑；
13、所述第二提取模块用于提取所述指示文本的文本特征；
14、所述处理模块用于将所述文本特征和所述图像特征输入大语言模型，获取视觉特征；
15、所述移除模块用于将所述图像和所述视觉特征输入扩散模型，获取移除霉斑后的图像。
16、第三方面，本专利技术提供一种电子设备，所述电子设备包括：处理器和存储器；
17、所述存储器用于存储计算机程序；
18、所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的图像霉斑移除方法。
19、第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被电子设备执行时实现上述的图像霉斑移除方法。
20、如上所述，本专利技术所述的图像霉斑移除方法、系统、存储介质及电子设备，具有以下有益效果：
21、(1)基于大语言模型和扩散模型实现图像霉斑移除的移除，快速高效；
22、(2)智能化程度高，无需人工手动参与；
23、(3)为霉斑图像的修复提供参考依据，极具实用性。
本文档来自技高网...【技术保护点】
1.一种图像霉斑移除方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的图像霉斑移除方法，其特征在于：基于VIT模型提取所述图像的图像特征。
3.根据权利要求1所述的图像霉斑移除方法，其特征在于：基于分词器和多层感知机提取所述指示文本的文本特征。
4.根据权利要求1所述的图像霉斑移除方法，其特征在于：将所述大语言模型的输出特征的最后一个位置处的特征作为所述视觉特征。
5.根据权利要求1所述的图像霉斑移除方法，其特征在于：所述扩散模型采用Diffusion模型。
6.根据权利要求5所述的图像霉斑移除方法，其特征在于：所述Diffusion模型的每个块中包含有一个交叉注意力层。
7.根据权利要求6所述的图像霉斑移除方法，其特征在于：所述图像作为所述交叉注意力层的Q向量，所述视觉特征作为所述交叉注意力层的K向量和V向量。
8.一种图像霉斑移除系统，其特征在于，所述系统包括第一获取模块、第一提取模块、第二获取模块、第二提取模块、处理模块和移除模块；
9.一种电子设备，其特征在于，
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至7中任一项所述的图像霉斑移除方法。
...【技术特征摘要】
1.一种图像霉斑移除方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的图像霉斑移除方法，其特征在于：基于vit模型提取所述图像的图像特征。
3.根据权利要求1所述的图像霉斑移除方法，其特征在于：基于分词器和多层感知机提取所述指示文本的文本特征。
4.根据权利要求1所述的图像霉斑移除方法，其特征在于：将所述大语言模型的输出特征的最后一个位置处的特征作为所述视觉特征。
5.根据权利要求1所述的图像霉斑移除方法，其特征在于：所述扩散模型采用diffusion模型。
6.根据权利要求5所述的图像霉斑移除方法，其特征在...
【专利技术属性】
技术研发人员：张俊杰，孔欧，刘益东，
申请(专利权)人：上海蜜度蜜巢智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。