一种基于深度学习的老旧影片修复重制方法技术

本发明专利技术公开一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型、视频插帧模型、去模糊网络和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型；步骤3：训练视频插帧网络模型；步骤4：训练去模糊网络；步骤5：训练超分辨率网络；步骤6：训练去噪网络。本发明专利技术基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，提高了图像复原的精确度。本发明专利技术处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。

【技术实现步骤摘要】
一种基于深度学习的老旧影片修复重制方法
本专利技术涉及深度学习和计算机视觉，尤其涉及一种基于深度学习的老旧影片修复重制方法。
技术介绍
影片文化遗产是一个国家和民族的珍贵记忆，是未来非物质文化遗产的重要组成部分，是近现代中华民族文化走出去的优良载体。对传统的红色电影、反映中国近现代拼搏奋斗的正能量精神的电影来说，能够利用现代技术加以复原并呈现的更加丰满。但由于过去拍摄技术限制，大量老旧影片已无法满足人们对高清视觉的观看需求。我国需要修复的电影胶片数量庞大，现存的胶片电影光故事片就有二三万部，而如今每年仅可修复约60部老电影胶片。按照目前全国的修复速度，将会有不少拷贝在修复之前“死去”，目前国家已重视到情况的严重性，正大力支持和提倡老电影修复产业，但是有能力进行精致修复的经典影片仅有200部。为了对年代久远、损伤严重的影片进行较好的修复，需要通过图像重构技术等，“制造”出画面上已经消失的细节信息以及对影像去模糊超分辨率等处理翻新。人工精修，基本上一个工作人员一天只能完成100到200帧的画面修复，一部90分钟的电影，大约有12万9600帧画面。如果要一帧一帧地精细修复，一部电影起码要用几个月的时间，成本也在百万级。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的老旧影片修复重制方法。本专利技术采用的技术方案是：一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果步骤2.1：去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块；去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成，并且每个卷积层后都有ReLU作为激活函数，ReLU函数公式如下所示：f(x)＝max(0，x)；步骤2.2：使用MSE-1函数作为训练去隔行扫描网络模型的损失函数，MSE-1函数如下所示：其中，MSE-1表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；步骤3：训练视频插帧网络模型，输入连续三张视频帧It-1、It、It+1，分别表示前一帧、当前帧和后一帧，得到当前帧It的预测结果It′，即为插帧网络的输出；步骤3.1：视频插帧网络模型的非线性映射模块采取U-Net的网络结构，U-Net的网络结构包括编码模块和解码模块；编码模块包括串联卷积层和一个平均池化层；平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量；解码模块依次包含串联卷积层和上采样层；步骤3.2：使用MSE-2函数作为视频插帧网络中训练的损失函数，MSE-2函数如下所示：其中，MSE-2表示损失函数，It为训练的输入目标图像块，It′为训练的网络输出的预测图像块；步骤4：训练去模糊网络；步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；步骤4.3：使用MSE-3函数作为去模糊网络的损失函数，MSE-3函数如下所示：其中，MSE-3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；步骤5：训练超分辨率网络步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；步骤6：训练去噪网络，选用NTIRE2018所提供的数据集来进行训练；步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出，步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。进一步地，步骤1具体包括以下步骤：步骤1.1：形成去隔行扫描模型的训练数据集：步骤1.1.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集，原始图像作为训练目标；步骤1.1.2：每次取隔行扫描数据集中的子视频帧和对应的训练目标，按d×d大小截取子图像块和形成若干个图像块的配对集步骤1.1.3：随机打乱配对集中的子图像块的顺序，得到去隔行扫描模型的训练数据集；步骤1.2：形成视频插帧模型的训练数据集：步骤1.2.1：将视频通过ffmpeg抽帧得到每一帧图像作为训练数据，每次取连续的三帧图像为一组训练视频帧对，其中每组的第二帧作为训练网络的目标，步骤1.2.2：对每组图像按d×d大小截取子图像块It-1，It，It+1形成若干个子图像块的配对集{It-1，It，It+1}；步骤1.2.3：随机打乱配对集中的子图像块的顺序，得到视频插帧模型的训练数据集；步骤1.3：形成去模糊网络的训练数据集：步骤1.3.1：根据图像模糊公式：b(x，y)＝(k×I)×(x，y)+G(x，y)其中b、I、k分别表示为模糊图片、原图、模糊核，G代表噪声；模糊核k大小的宽和高分别从(0，5)中随机取值，高斯白噪声方差G，从(0，100)内随机取值，使得每一个高清视频都有对应的不同程度模糊的视频；步骤1.3.2：分别对高清视频和模糊视频进行抽帧，得到高清数据集和对应的模糊数据集；步骤1.3.3：每次取模糊数据集中的视频帧按d×d大小截取子图像块同时在高清数据集中取对应的视频帧执行相同操作，得到子图像块形成若干个子图像块的配对集步骤1.3.4：随机打乱配对集中的子图像块的顺序，得到模糊网络的训练数据集；步骤1.4：形成超分辨率模型的训练数据集：步骤1.4.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧进行下采样形成低分辨率视频帧，原始高分辨率视频帧作为训练目标；步骤1.4.2：每次取低分辨率视频数据集中的低分辨率视频帧和对应训练目标的视频帧，按d×d大小截取子图像块和形成若干个子图像块的配对集步骤1.4.3：随机打乱配对集中的子图像块的顺序，得到超分辨率模型的训练数据集；3.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤4.1提取Y通道数据的具体步骤为：步骤4.1.1：图像块的像素值是在[0，255]范围内，将图像块中的每个像素值除以255，使得每个像素值介于[0，1]之间，得到归一化后的图像；步骤4.1.2：取归一化后的RGB图像块，将其转换为YCbcCr格式，根据公式Y＝(0.256789×R+0.504129×G+0.097906×B)+16.0Cb＝(-0.148223×R-0.290992×G+0.439215×B)+128.0Cr＝(0.439215×R-0.367789×G-0.071426×B)+128.0将得到的YCbCr的图像块进行通道分离，得到Y通道数据。进一步地，步骤4.2、步骤5.2和步骤6.1中的特征提取阶段包含一个卷积层和非线性激活层，通过学习得到底层特征F1；其中W1和B1为初始卷积层的权重和偏置参数，*代表卷积操作；进一步地，步骤4.2本文档来自技高网...

【技术保护点】
1.一种基于深度学习的老旧影片修复重制方法，其特征在于：其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块

【技术特征摘要】
1.一种基于深度学习的老旧影片修复重制方法，其特征在于：其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果步骤2.1：去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块；去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成，并且每个卷积层后都有ReLU作为激活函数，ReLU函数公式如下所示：f(x)＝max(0，x)；步骤2.2：使用MSE-1函数作为训练去隔行扫描网络模型的损失函数，MSE-1函数如下所示：其中，MSE-1表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；步骤3：训练视频插帧网络模型，输入连续三张视频帧It-1、It、It+1，分别表示前一帧、当前帧和后一帧，得到当前帧It的预测结果It′，即为插帧网络的输出；步骤3.1：视频插帧网络模型的非线性映射模块采取U-Net的网络结构，U-Net的网络结构包括编码模块和解码模块；编码模块包括串联卷积层和一个平均池化层；平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量；解码模块依次包含串联卷积层和上采样层；步骤3.2：使用MSE-2函数作为视频插帧网络中训练的损失函数，MSE-2函数如下所示：其中，MSE-2表示损失函数，It为训练的输入目标图像块，It′为训练的网络输出的预测图像块；步骤4：训练去模糊网络；步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；步骤4.3：使用MSE-3函数作为去模糊网络的损失函数，MSE-3函数如下所示：其中，MSE-3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；步骤5：训练超分辨率网络步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；步骤6：训练去噪网络，选用NTIRE2018所提供的数据集来进行训练；步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出；步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。2.根据权利要求1所述的一种基于深度学习的老旧影片修复重制方法，其特征在于：步骤1具体包括以下步骤：步骤1.1：形成去隔行扫描模型的训练数据集：步骤1.1.1：将视频通过ffmpeg抽帧得到每一帧图像，将得到的视频帧分别进行偶数场扫描和奇数场扫描得到隔行扫描的训练数据集，原始图像作为训练目标；步骤1.1.2：每次取隔行扫描数据集中的子视频帧和对应的训练目标，按d×d大小截取子图像块和形成若干个图像块的配对集步骤1.1.3：随机打乱配对集中的子图像块的顺序，得到去隔行扫描模型的训练数据集；步骤1.2：形成视频插帧模型的训练数据集：步骤1.2.1：将视频通过ffmpeg抽帧得到每一帧图像作为训练数据，每次取连续的三帧图像为一组训练视频帧对，其中每组的第二帧作为训练网络的目标，步骤1.2.2：对每组图像按d×d大小截取子图像块It-1，It，It+1形成若干个子图像块的配对集{It-1，It，It+1}；步骤1.2.3：随机打乱配对集中的子图像块的顺序，得到视频插帧模型的训练数据集；步骤1.3：形成去模糊网络的训练数据集：步骤1.3.1：根据图像模糊公式：b(x，y)＝(k×I)＝(x，y)+G(x，y)其中b、I、k分别表示为模糊图片、原图、模糊核，G代表噪声；模糊核k大小的宽和高分别从(0，5)中随机取值，高斯白噪声方差G，从(0，100)...

【专利技术属性】
技术研发人员：赵岩，聂可卉，
申请(专利权)人：赵岩，
类型：发明
国别省市：内蒙古,15