本申请公开了一种图像修复的方法，包括：对待修复图像进行特征提取，然后将提取出的图像特征输入级联的多个卷积神经网络，对混合失真图像进行恢复。其中，在每个卷积神经网络的处理中，根据输入的图像特征，按照级联的多个卷积神经网络的联合训练结果，选择策略并匹配各个选中策略的注意力权值，进行自适应优化；根据自适应优化得到的输出特征生成当前阶段的残差恢复图像，利用该残差恢复图像生成当前阶段的阶段性恢复图像；对阶段性恢复图像进行处理得到低信息特征抑制遮罩；利用低信息特征抑制遮罩与对自适应优化特征处理，得到当前阶段的输出特征。通过对混合失真的照片能够实现高效、自动修复，并有效改善修复效果。并有效改善修复效果。并有效改善修复效果。
【技术实现步骤摘要】
一种图像修复的方法和装置
[0001]本申请涉及图像处理技术，特别涉及一种图像修复的方法和装置。
技术介绍
[0002]普通用户使用智能手机拍摄照片，受限于智能手机摄像头本身的限制以及各种不利环境因素的影响，照片一般包含了未知混合比和强度的组合失真，例如低照度，高光干扰，阴影，高斯噪声等等，导致了照片质量的下降，当前对这种混合失真的照片的有效修复只能依赖于专业技术人员使用多种专业软件进行联合人工修正。
[0003]具体地，对于普通用户使用智能手机拍摄的照片中含有的未知混合比和强度的组合失真，例如照片含有整体曝光不足/过度,拍摄的主体目标被阴影遮盖，摩尔纹，高斯噪声等等，只能使用人工的方式修复，这种方式需要专业的技术人员以专业的设备和软件进行复杂的技术处理，才可以确保正确排除影响照片质量的组合失真，真实还原出高质量的照片(如图1所示)。而对于自动化修复方式，近年来兴起的卷积神经网络训练修复是主流的方法，但是现有的卷积神经网络(CNN)大多数仅能对单一环境负面因素进行针对性设计训练并修复并达成很好的恢复精度，例如单一去除照片中雨水的恢复网络，单一去除照片中阴影的恢复网络等。对于含有的未知混合比和强度的组合失真的照片，上述单一修复网络并不能进行正确的修复。
[0004]最近，有研究提出组合上述单一修复工具组成修复工具链，对混合失真的照片进行修复，该解决方案被证明有效，但是由于该方案需要串行使用多个应用于特定程度/特定类型失真的CNN小型网络，而每个CNN网络都需要进行预训练，因此导致了效率低下，而且最终结果的准确性也比较有限。基于此，当前对于混合失真照片的有效修复，仍然依赖于专业的技术人员以专业的设备和多种软件进行复杂的联合人工处理。这样的方式专业技术要求高，效率也低。
技术实现思路
[0005]本申请提供一种图像修复的方法和装置，对混合失真的照片能够实现高效、自动修复，并有效改善修复效果。
[0006]为实现上述目的，本申请采用如下技术方案：
[0007]一种图像修复的方法，包括：
[0008]确定图像修复的阶段数N；所述N为正整数；
[0009]对待修复图像进行特征提取，将提取出的图像特征作为第一个阶段输入的图像特征，依次在每个阶段进行卷积神经网络的处理，得到相应阶段的输出特征输入下一阶段，直到最后一个阶段得到该阶段的输出特征，将最后一个阶段的输出特征进行输出处理后作为图像修复结果；
[0010]其中，所述每个阶段进行卷积神经网络的处理包括：
[0011]根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，
在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；
[0012]利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征；
[0013]根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；
[0014]对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到当前阶段的输出特征，作为下一阶段的输入图像特征。
[0015]较佳地，所述确定图像修复的阶段数N时根据修复设备的处理能力和/或用户指令进行。
[0016]较佳地，所述对待修复图像进行特征提取包括：对待修复图像依次进行四个结构相同的残差处理，将最后一次残差处理的输出特征作为所述提取出的图像特征；
[0017]其中，所述残差处理包括：对输入特征依次进行两次3*3的卷积处理，将处理结果与所述输入特征相加，再对相加结果施加Relu激励后作为输出特征进行下一次残差处理。
[0018]较佳地，根据修复设备的处理能力和/或用户指令确定所述可选策略集。
[0019]较佳地，所述计算选中的各策略对应的注意力权值包括：
[0020]针对所述当前阶段输入的图像特征中各个通道的输入特征，计算每个通道内的通道平均特征值；
[0021]利用所有通道的通道平均特征值，计算所述选中的各策略对应的注意力权值。
[0022]较佳地，所述根据所述自适应优化特征生成当前阶段的残差恢复图像包括：
[0023]对所述自适应优化特征进行1*3*12的卷积处理，生成所述当前阶段的残差恢复图像。
[0024]较佳地，所述利用所述残差恢复图像生成当前阶段的阶段性恢复图像包括：将所述残差恢复图像与所述待修复图像相加得到所述当前阶段的阶段性恢复图像。
[0025]一种图像修复的装置，包括：阶段数确定模块、特征提取模块、级联的多个相同的阶段处理模块、输出模块；其中，所述阶段处理模块包括自适应优化单元和可视化监督的阶段注意力单元；
[0026]所述阶段数确定模块，用于确定图像修复的阶段数N；
[0027]所述特征提取模块，用于对待修复图像进行特征提取，并将提取出的图像特征输入第一个阶段处理模块；
[0028]所述阶段处理模块中的自适应优化单元，用于根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征输入本阶段处理模块中的可视化监督的阶段注意力单元；
[0029]所述阶段处理模块中的可视化监督的阶段注意力单元，用于根据所述自适应优化
特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到输出特征输入下一阶段的阶段处理模块；
[0030]最后一个阶段的阶段处理模块中，所述可视化监督的阶段注意力单元在获取当前阶段的输出特征后，将其输入给所述输出模块，并停止处理；
[0031]所述输出模块，用于将接收的最后一个阶段的输出特征进行输出处理后作为图像恢复结果，输出给用户。
[0032]由上述技术方案可见，本申请中，对待修复图像进行特征提取，然后将提取出的图像特征输入级联的多个卷积神经网络，对混合失真图像进行恢复。其中，在每个卷积神经网络的处理中，根据输入的图像特征，按照级联的多个卷积神经网络的联合训练结果，选择策略并匹配各个选中策略的注意力权值，进行自适本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像修复的方法，包括：确定图像修复的阶段数N；所述N为正整数；对待修复图像进行特征提取，将提取出的图像特征作为第一个阶段输入的图像特征，依次在每个阶段进行卷积神经网络的处理，得到相应阶段的输出特征输入下一阶段，直到最后一个阶段得到该阶段的输出特征，将最后一个阶段的输出特征进行输出处理后作为图像修复结果；其中，所述每个阶段进行卷积神经网络的处理包括：根据当前阶段输入的图像特征，按照预先联合N个阶段训练的卷积神经网络参数，在当前阶段内预设的可选策略集中选择若干策略并计算选中的各策略对应的注意力权值；利用选中的各策略分别对所述当前阶段输入的图像特征进行处理，并将处理结果与各策略对应的注意力权值相乘，并将所有乘积结果进行级联，再通过1*1的卷积层处理后与所述当前阶段输入的图像特征相加，得到自适应优化特征；根据所述自适应优化特征生成当前阶段的残差恢复图像，利用所述残差恢复图像生成当前阶段的阶段性恢复图像；对所述阶段性恢复图像进行1*1的卷积处理，再通过一个Sigmoid激励，得到低信息特征抑制遮罩；将所述低信息特征抑制遮罩与对所述自适应优化特征进行1*1*C的卷积处理后得到的结果相乘，再将乘积结果与所述阶段性恢复图像相加，得到当前阶段的输出特征，作为下一阶段的输入图像特征。2.根据权利要求1所述的方法，其特征在于，所述确定图像修复的阶段数N时根据修复设备的处理能力和/或用户指令进行。3.根据权利要求1所述的方法，其特征在于，所述对待修复图像进行特征提取包括：对待修复图像依次进行四个结构相同的残差处理，将最后一次残差处理的输出特征作为所述提取出的图像特征；其中，所述残差处理包括：对输入特征依次进行两次3*3的卷积处理，将处理结果与所述输入特征相加，再对相加结果施加Relu激励后作为输出特征进行下一次残差处理。4.根据权利要求1所述的方法，其特征在于，根据修复设备的处理能力和/或用户指令确定所述可选策略集。5.根据权利要求1所述的方法，其特征在于，所述计算选中的各策略对应的注意力权值包括：针对所述当前阶段输入的图像特征中各个通道的输入特征，计算每个通道内的通道平均特征值；利用所有通道的通道平均特征...
【专利技术属性】
技术研发人员：黄强，苏维扬，吴龙海，陈洁，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。