本公开提供了一种图像的修复方法、装置、电子设备及存储介质，通过构建由扫描隧道显微镜微分电导图、扫描隧道显微镜形貌图以及纹理图像数据组成的样本图像数据集训练图像修复模型；为待修复图像配置用于标示密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；将缺陷位置区域对应的区域图像的图像频谱和遮罩频谱输入至训练好的频域卷积网络，得到区域图像对应的初步修复图像；将初步修复图像输入至训练好的细节修复网络，得到区域图像对应的细节修复图像；将待修复图像中的缺陷位置区域的图像替换成细节修复图像，得到修复后的扫描隧道显微镜图像。针对具有高密度纹理细节和周期性，缺陷密集并离散的扫描隧道显微镜图像可以有较好的修复效果。以有较好的修复效果。以有较好的修复效果。
【技术实现步骤摘要】
一种图像的修复方法、装置、电子设备及存储介质
[0001]本公开涉及图像处理
，具体而言，涉及一种图像的修复方法、装置、电子设备及存储介质。
技术介绍
[0002]作为具有原子级高分辨的成像工具，扫描隧道显微镜（Scanning Tunneling Microscope，STM）已经被广泛应用于多个领域，包括能源、光电、电子和量子信息等等。通过对表面进行定量的形貌或者微分电导扫描，可以实现对材料微观结构、局域电子态等特征信息的获取、分析和评估。STM所探测的隧穿电流一般为纳安（nA）量级，因此对环境的要求也非常严格，轻微的振动和电磁干扰都会对扫描图像有很大影响。另一方面，材料表面本身也存在一些天然的本征缺陷，如空位、吸附原子等等。这些缺陷的存在会对STM图像的频谱分析造成干扰。尤其是利用准粒子干涉扫描技术来获得高精度表面电子态信息时，缺陷的干扰显得更加严重。因此，针对STM图像的缺陷修复可以去除缺陷扰动，提高微分电导图的频谱分析精度，是一个亟待解决的重要问题。
[0003]在现有的基于深度学习的图像修复算法中，大多适用于人脸、自然场景和纹理图像上，并且使用的是规则矩形遮罩和不规则连续遮罩。这些算法难以重建STM图像的高频细节，导致边界伪影、扭曲图案和模糊纹理的差异，同时，无法适应STM图像这种具有高密度纹理细节和周期性，缺陷密集并离散的图像，进而导致修复效果较差。
技术实现思路
[0004]本公开实施例至少提供一种图像的修复方法、装置、电子设备及存储介质，针对具有高密度纹理细节和周期性，缺陷密集并离散的隧道扫描显微镜图像可以有较好的修复效果。
[0005]本公开实施例提供了一种图像的修复方法，所述方法包括：构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束；将所述初步修复图像输入至训练好的所述细节修复网络，得到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；
将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。
[0006]一种可选的实施方式中，基于以下方法训练所述图像修复模型：确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像；为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩；分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱；根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。
[0007]一种可选的实施方式中，基于以下公式构建所述频域损失函数：其中，C代表所述样本缺陷图像的通道数；H代表所述样本缺陷图像的高度参数；W代表所述样本缺陷图像的宽度参数；为代表所述样本修复图像频域信息的参数；为代表所述初步修复图像频域信息的参数；代表所述频域损失函数。
[0008]一种可选的实施方式中，针对所述细节修复网络中的生成器，采用所述感知损失函数、所述风格损失函数以及所述最小化绝对误差函数进行约束；针对所述细节修复网络中的鉴别器，采用所述对抗损失函数进行约束。
[0009]一种可选的实施方式中，基于以下方法构建所述目标损失函数：分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数，确定所述目标损失函数。
[0010]本公开实施例还提供一种图像的修复装置，所述装置包括：数据集构建模块，用于构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；训练模块，用于将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；配置模块，用于获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；初步修复模块，用于将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束；细节修复模块，用于将所述初步修复图像输入至训练好的所述细节修复网络，得
到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；替换模块，用于将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。
[0011]一种可选的实施方式中，所述装置还包括训练模块，所述训练模块用于：确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像；为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩；分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱；根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。
[0012]一种可选的实施方式中，所述细节修复模块具体用于：分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数，确定所述目标损失函数。
[0013]本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述图像的修复方法，或上述图像的修复方法中任一种可能的实施方式中的步骤。
[0014]本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述图像的修复方法，或上述图像的修复方法中任一种可能的实施方式中的步骤。
[0015]本公开实施例提供的一种图像的修复方法、装置、电子设备及存储介质，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像的修复方法，其特征在于，包括：构建由扫描隧道显微镜微分电导图数据集、扫描隧道显微镜形貌图数据集以及纹理图像数据集组成的样本图像数据集；将所述样本图像数据集划分为训练集与测试集，训练预先构建的由频域卷积网络与细节修复网络级联组成的图像修复模型；获取由扫描隧道显微镜拍摄的待修复图像，并为所述待修复图像配置用于标示所述待修复图像中密集且离散的缺陷位置区域的缺陷遮罩及对应的遮罩频谱；将所述缺陷位置区域对应的区域图像的图像频谱和所述遮罩频谱输入至训练好的所述频域卷积网络，得到所述区域图像对应的初步修复图像；其中，所述频域卷积网络通过预设的频域损失函数进行约束；将所述初步修复图像输入至训练好的所述细节修复网络，得到所述区域图像对应的细节修复图像；所述细节修复网络通过由预设的感知损失函数、风格损失函数、最小化绝对误差函数以及对抗损失函数构建的目标损失函数进行约束；将所述待修复图像中的缺陷位置区域的图像替换成所述细节修复图像，得到修复后的扫描隧道显微镜图像。2.根据权利要求1所述的方法，其特征在于，基于以下方法训练所述图像修复模型：确定所述扫描隧道显微镜微分电导图数据集、所述扫描隧道显微镜形貌图数据集以及所述纹理图像数据集样本图像数据集中包括的每个样本缺陷图像对应的样本修复图像；为每个所述样本缺陷图像配置用于标示所述样本缺陷图像中密集且离散的缺陷位置区域的样本缺陷遮罩；分别确定所述样本缺陷图像对应的样本图像频谱以及所述样本缺陷遮罩对应的样本遮罩频谱；根据所述样本图像频谱、所述样本遮罩频谱以及所述样本修复图像训练所述图像修复模型。3.根据权利要求2所述的方法，其特征在于，基于以下公式构建所述频域损失函数：其中，C代表所述样本缺陷图像的通道数；H代表所述样本缺陷图像的高度参数；W代表所述样本缺陷图像的宽度参数；为代表所述样本修复图像频域信息的参数；为代表所述初步修复图像频域信息的参数；代表所述频域损失函数。4.根据权利要求1所述的方法，其特征在于：针对所述细节修复网络中的生成器，采用所述感知损失函数、所述风格损失函数以及所述最小化绝对误差函数进行约束；针对所述细节修复网络中的鉴别器，采用所述对抗损失函数进行约束。5.根据权利要求1所述的方法，其特征在于，基于以下方法构建所述目标损失函数：分别为所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数以及所述对抗损失函数配置对应的权重参数；根据所述权重参数、所述感知损失函数、所述风格损失函数、所述最小化绝对误差函数
以及所述对抗损失函数，确定所述目标损失函数。6.一...
【专利技术属性】
技术研发人员：李绍春，丁辉，尚媛园，陈念哲，黄钰涵，鲁嘉铖，
申请(专利权)人：首都师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。