一种照片修复方法及系统技术方案

本发明专利技术公开了一种照片修复方法，包括如下步骤。步骤S1：在图片中提取照片区域。步骤S2：在照片区域中提取破损、折痕、划痕区域。步骤S3：对照片区域中的破损、折痕、划痕区域进行修复。步骤S4：在照片区域中检测出人脸区域。步骤S5：去除人脸区域中的多种退化，并在人脸区域中增加人脸细节。本发明专利技术取得的技术效果是：可修复照片中的破损、划痕、折痕；面部修复真实、自然，在保留人像身份特征的基础上增加了面部细节。细节。细节。

【技术实现步骤摘要】
一种照片修复方法及系统


[0001]本专利技术涉及一种对照片进行修复的方法。

技术介绍

[0002]照片的拍摄环境、拍摄质量、图像保存等环节均会影响到照片质量。例如，由于相机的焦距不准确、拍照时抖动等造成照片模糊、成像质量低。又如，打印出来的照片在长期的保存过程中存在破损、褪色、污渍、模糊等情况。再如，对照片进行扫描、摄影时由于扫描、摄影的质量不佳而导致图片、视频帧的质量差。这些情况下都需要对照片进行修复。
[0003]现有的照片修复方法往往较为简单，无法解决上面列出的多种缺陷。

技术实现思路

[0004]本专利技术所要解决的技术问题是提出一种通过神经网络实现照片高效修复的方法。
[0005]为解决上述技术问题，本专利技术提出了一种照片修复方法，包括如下步骤。步骤S1：在图片中提取照片区域。步骤S2：在照片区域中提取破损、折痕、划痕区域。步骤S3：对照片区域中的破损、折痕、划痕区域进行修复。步骤S4：在照片区域中检测和定位出人脸区域。步骤S5：去除人脸区域中的多种退化，并在人脸区域中增加人脸细节。
[0006]进一步地，所述步骤S1的实现方式如下：采用一种用于图像分割的神经网络并对其进行训练，使用训练好的神经网络在图片中提取照片区域。所述步骤S1中，神经网络的训练方法如下：(1)生成训练数据；利用已有照片生成包含照片的图片称为合成图片，每张合成图片中的照片区域的位置是指定的即已知的；或者收集一些包含照片的图片，每张图片中的照片区域的位置是人工标注的即已知的；(2)采用所述训练数据对神经网络进行训练，以使该神经网络能够用于在图片中提取照片区域。
[0007]优选地，所述训练数据包括以下四类：黑白照片合成到黑白背景中、黑白照片合成到彩色背景中、彩色照片合成到黑白背景中、彩色照片合成到彩色背景中；所述背景是指图片中的非照片区域。
[0008]进一步地，所述步骤S2的实现方式如下：采用一种用于图像分割的神经网络并对其进行训练，使用训练好的神经网络在照片区域中提取破损、折痕、划痕区域。所述步骤S2中，神经网络的训练方法如下：(1)生成训练数据；收集一些已有破损、折痕、划痕区域的照片，每张照片中的破损、折痕、划痕区域是已知的；或者，生成一些包含破损、折痕、划痕的照片，每张照片中的破损、折痕、划痕区域的位置是指定的即已知的；(2)采用所述训练数据对神经网络进行训练，以使该神经网络能够用于在照片中提取破损、折痕、划痕区域。
[0009]进一步地，所述步骤S3的实现方式如下：采用一种用于图像修复的神经网络并对其进行训练，使用训练好的神经网络对照片区域的破损、折痕、划痕区域进行修补。所述步骤S3中，神经网络的训练方法如下：(1)生成训练数据；在一些照片的指定位置增加一些破损、折痕、划痕区域，这些破损、折痕、划痕所覆盖的照片的原始像素内容是已知的；(2)采用所述训练数据对神经网络进行训练，以使该神经网络能够用于修复照片的破损、折痕、划痕
区域。
[0010]优选地，所述步骤S3中采用包含卷积运算的用于图像修复的神经网络，同时将其中的卷积运算替换为快速傅里叶卷积运算。
[0011]进一步地，所述步骤S5的实现方式如下：采用一种用于图像去噪或者图像去模糊的端到端神经网络并对其采用“以多重小幅度退化方式生成的训练数据”进行训练，使用训练好的神经网络对照片区域中的人脸区域去除多种退化；所述端到端神经网络中包含编码器和解码器；采用一种用于图像处理的生成对抗网络在去除退化后的人脸区域中增加人脸细节，所述生成对抗网络用来基于人脸先验信息生成高清人脸图像；所述生成对抗网络中包含生成器和判别器，生成器中包含编码器和解码器；将“端到端神经网络中的解码器中的特征图层”与“条件对抗生成网络中的生成器中的解码器中的特征图层”进行特征融合。所述步骤S5中，端到端神经网络的训练方法如下；(1)以多重小幅度退化方式生成训练数据；这是指先在照片中增加小幅度的一种或多种退化，称为第一重退化；然后在第一重退化后的照片中继续增加小幅度的一种或多种退化，称为第二重退化；以此类推，得到多重退化后的照片；原始的未退化的照片内容是已知的，多重退化后的照片与原始的未退化的照片的像素点一一对应；所述小幅度退化是指单次退化不明显降低图像质量；所述多重是指一重至六重之间；(2)采用所述“以多重小幅度退化方式生成的训练数据”对端到端神经网络进行训练，以使该端到端神经网络能够用于去除图片中的各种退化。
[0012]可选地，在步骤S4之后增加了步骤S6；步骤S5与步骤S6或者任一在前，或者同时进行。步骤S6：将照片区域中除人脸区域以外的部分进行修复和放大。
[0013]优选地，所述步骤S6中，采用基于生成对抗网络的图像超分辨率重建或复原技术。
[0014]可选地，在步骤S5之后依次增加步骤S7和步骤S8。步骤S7：判断照片区域是否需要上色；如果需要上色，进入步骤S8；如果无需上色，整个修复流程结束；需要上色的照片包括：黑白照片、褪色的彩色照片、色偏的彩色照片；无需上色的照片是指色彩鲜艳且准确的彩色照片。步骤S8：对需要上色的照片区域进行自动上色；所述上色包括：将黑白照片转换为彩色照片，将褪色的彩色照片转换为鲜艳的彩色照片，将色偏的彩色照片转换为色彩准确的彩色照片。
[0015]进一步地，所述步骤S7的实现方式如下：采用一种用于分类的神经网络并对其进行训练，使用训练好的神经网络判断照片区域是否需要上色。所述步骤S7中，神经网络的训练方法如下：(1)生成训练数据；收集一些原始照片，原始照片是色彩鲜艳且准确的彩色照片；将部分原始照片保持原样，将部分原始照片转换为黑白照片，将部分原始照片转换为褪色的彩色照片，将部分原始照片转换为色偏的彩色照片；转换后的照片所属的类别是已知的；类别仅有两种，分别是“需要上色的照片”和“无需上色的照片”；(2)采用所述训练数据对神经网络进行训练，以使该神经网络作为二分类器，能够用于区分两种类别。
[0016]可替换地，所述步骤S7中，神经网络的训练方法改为：(1)生成训练数据；收集一些原始照片，原始照片是色彩鲜艳且准确的彩色照片；将部分原始照片保持原样，将部分原始照片转换为黑白照片，将部分原始照片转换为褪色的彩色照片，将部分原始照片转换为色偏的彩色照片；转换后的照片所属的类别是已知的；类别仅有四种，分别是“黑白照片”、“褪色的彩色照片”、“色偏的彩色照片”和“色彩鲜艳且准确的彩色照片”；前三种类别均表示照片需要上色，最后一种类别表示照片无需上色；(2)采用所述训练数据对神经网络进行训
练，以使该神经网络作为四分类器，能够用于区分四种类别。
[0017]优选地，所述步骤S8中，上色仅在照片的颜色通道进行填充，不改变照片的亮度通道。
[0018]进一步地，所述步骤S8的实现方式如下：采用一种用于图像风格转换的神经网络并对其进行训练，使用训练好的神经网络对需要上色的照片进行自动上色。所述步骤S8中，神经网络的训练方法如下：(1)采用步骤S7中生成的训练数据，或者增加训练数据的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种照片修复方法，其特征是，包括如下步骤；步骤S1：在图片中提取照片区域；步骤S2：在照片区域中提取破损、折痕、划痕区域；步骤S3：对照片区域中的破损、折痕、划痕区域进行修复；步骤S4：在照片区域中检测和定位出人脸区域；步骤S5：去除人脸区域中的多种退化，并在人脸区域中增加人脸细节。2.根据权利要求1所述的照片修复方法，其特征是，所述步骤S1的实现方式如下：采用一种用于图像分割的神经网络并对其进行训练，使用训练好的神经网络在图片中提取照片区域；所述步骤S1中，神经网络的训练方法如下：(1)生成训练数据；利用已有照片生成包含照片的图片称为合成图片，每张合成图片中的照片区域的位置是指定的即已知的；或者收集一些包含照片的图片，每张图片中的照片区域的位置是人工标注的即已知的；(2)采用所述训练数据对神经网络进行训练，以使该神经网络能够用于在图片中提取照片区域。3.根据权利要求2所述的照片修复方法，其特征是，所述训练数据包括以下四类：黑白照片合成到黑白背景中、黑白照片合成到彩色背景中、彩色照片合成到黑白背景中、彩色照片合成到彩色背景中；所述背景是指图片中的非照片区域。4.根据权利要求1所述的照片修复方法，其特征是，所述步骤S2的实现方式如下：采用一种用于图像分割的神经网络并对其进行训练，使用训练好的神经网络在照片区域中提取破损、折痕、划痕区域；所述步骤S2中，神经网络的训练方法如下：(1)生成训练数据；收集一些已有破损、折痕、划痕区域的照片，每张照片中的破损、折痕、划痕区域是已知的；或者，生成一些包含破损、折痕、划痕的照片，每张照片中的破损、折痕、划痕区域的位置是指定的即已知的；(2)采用所述训练数据对神经网络进行训练，以使该神经网络能够用于在照片中提取破损、折痕、划痕区域。5.根据权利要求1所述的照片修复方法，其特征是，所述步骤S3的实现方式如下：采用一种用于图像修复的神经网络并对其进行训练，使用训练好的神经网络对照片区域的破损、折痕、划痕区域进行修补；所述步骤S3中，神经网络的训练方法如下：(1)生成训练数据；在一些照片的指定位置增加一些破损、折痕、划痕区域，这些破损、折痕、划痕所覆盖的照片的原始像素内容是已知的；(2)采用所述训练数据对神经网络进行训练，以使该神经网络能够用于修复照片的破损、折痕、划痕区域。6.根据权利要求5所述的照片修复方法，其特征是，所述步骤S3中采用包含卷积运算的用于图像修复的神经网络，同时将其中的卷积运算替换为快速傅里叶卷积运算。7.根据权利要求1所述的照片修复方法，其特征是，所述步骤S5的实现方式如下：采用一种用于图像去噪或者图像去模糊的端到端神经网络并对其采用“以多重小幅度退化方式生成的训练数据”进行训练，使用训练好的神经网络对照片区域中的人脸区域去除多种退化；所述端到端神经网络中包含编码器和解码器；采用一种用于图像处理的生成对抗网络在去除退化后的人脸区域中增加人脸细节，所述生成对抗网络用来基于人脸先验信息生成高清人脸图像；所述生成对抗网络中包含生成器和判别器，生成器中包含编码器和解码器；
将“端到端神经网络中的解码器中的特征图层”与“条件对抗生成网络中的生成器中的解码器中的特征图层”进行特征融合；所述步骤S5中，端到端神经网络的训练方法如下；(1)以多重小幅度退化方式生成训练数据；这是指先在照片中增加小幅度的一种或多种退化，称为第一重退化；然后在第一重退化后的照片中继续增加小幅度的一种或多种退化，称为第二重退化；以此类推，得到多重退化后的照片；原始的未退化的照片内容是已知的，多重退化后的照片与原始的未退化的照片的像素点一一对应；所述小幅度退化是指单次退化不明显降低图像质量；所述多重是指一重至六重之间；(2)采用所述“以多重小幅度退化方式生成的训练数据”对端到端神经网络进行训练，以使该端到端神经网络能够用于去除图片中的各种退化。8.根据权利要求1所述的照片修复方法，其特征是，在步骤S4之后增加了步骤S6；步骤S5与步骤S6或者任一在前，或者同时进行；步骤...

【专利技术属性】
技术研发人员：陆大公，郭丰俊，丁凯，龙腾，曹超阳，许昌华，徐欢，
申请(专利权)人：上海临冠数据科技有限公司上海生腾数据科技有限公司上海盈五蓄数据科技有限公司，
类型：发明
国别省市：