一种卡通视频重制方法及系统技术方案

本发明专利技术涉及一种卡通视频重制方法及系统。系统包括依次串联的初步降质模块、图像生成模块和图像增强模块，以及并联的质量评价模块、风格判别模块和色彩评价模块。先利用初步降质模块和图像生成模块对卡通图像帧进行处理生成第二卡通图像帧，并通过判别损失对第二卡通图像帧进行判断，若不符合输出要求则调整图像生成模块的参数，直到输出符合要求的第二卡通图像帧。将第二卡通图像帧和卡通图像帧均作为训练样本集对图像增强模块进行训练，得到卡通视频重制模型。可直接利用卡通视频重制模型对实时输入的卡通视频中的待处理卡通图像帧进行重制处理。该方法及系统可有效提升早期卡通视频的清晰度，提升观看体验。提升观看体验。提升观看体验。

【技术实现步骤摘要】
一种卡通视频重制方法及系统


[0001]本专利技术涉及图像处理
，特别是涉及一种卡通视频重制方法及系统。

技术介绍

[0002]早期的卡通视频的制作方式、存储方式、传输方式等与现今有很大不同，且早期的卡通视频存在较多划痕、噪声、泛白，存在模糊、压缩失真、色彩退化、边缘不够锐利等问题。直接利用现今的播放或显示设备观看早期的卡通视频，其清晰度较低，很难满足现今人们的观看需求。
[0003]近年来，计算机视觉、图像处理、深度学习等领域发展迅速，这些领域中的很多方法能够提升自然图像或拍摄视频的质量和清晰度。但自然图像或拍摄视频与卡通视频在图像形成原理上完全不同，现今的自然图像或拍摄视频图像的处理方法也并不适用于卡通视频。

技术实现思路

[0004]为了解决上述问题，本专利技术中提出了一种卡通视频重制方法及系统，适用于卡通视频，能够有效去除卡通视频中的划痕、噪声、泛白，有效解决模糊、压缩失真、色彩退化、边缘不够锐利等问题，有效提升早期卡通视频的质量和清晰度，满足现今人们的观看需求。
[0005]为实现上述目的，本专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卡通视频重制方法，其特征在于，包括：选取多个卡通图像帧FH
i
，对所述卡通图像帧FH
i
预处理得到第一卡通图像帧FM
i
；其中，i表示所述卡通图像帧的数量，为正整数；利用第一卷积神经网络对所述第一卡通图像帧FM
i
做生成判别操作得到第二卡通图像帧FL
i
，计算并判断所述第二卡通图像帧FL
i
的判别损失是否在设定范围内，若是，则认为所述第二卡通图像帧FL
i
符合输出要求，输出的所述第二卡通图像帧FL
i
和所述卡通图像帧FH
i
共同构成训练样本集；若否，则对所述第一卷积神经网络的参数进行调整，在调整后重新处理所述第一卡通图像帧FM
i
；利用第二卷积神经网络对所述第二卡通图像帧FL
i
做特征融合及处理操作得到第三卡通图像帧FS
i
；计算并判断所述第三卡通图像帧FS
i
的重建损失质量损失风格损失与色彩损失之和是否在设定范围内；若是，则认为所述第三卡通图像帧FS
i
符合输出要求；若否，则对所述第二卷积神经网络的参数进行调整；在调整后重新处理所述第二卡通图像帧FL
i
；待所有所述第三卡通图像帧FS
i
均符合输出要求后，即得到了卡通视频重制模型；直接利用所述卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理。2.根据权利要求1所述的卡通视频重制方法，其特征在于，所述对所述卡通图像帧FH
i
预处理得到第一卡通图像帧FM
i
，具体包括：在卡通视频中抽取所述卡通图像帧FH
i
，依次对所述卡通图像帧FH
i
做降分辨率处理、添加噪声处理、添加模拟划痕处理和压缩处理，具体包括：利用FFMPEG在所述卡通视频中每隔一秒抽取一张所述卡通图像帧FH
i
；利用双线性插值法降低所述卡通图像帧FH
i
的分辨率，得到降分辨率后的卡通图像帧；在所述降分辨率后的卡通图像帧中添加噪声，所述噪声包括高斯噪声或椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；利用Matlab从所述实时输入的卡通视频中裁剪划痕区域；对所述划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到所述添加噪声后的卡通图像帧中；对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到所述第一卡通图像帧FM
i
。3.根据权利要求1所述的卡通视频重制方法，其特征在于，所述利用第一卷积神经网络对所述第一卡通图像帧FM
i
做生成判别操作得到第二卡通图像帧FL
i
，具体包括：对所述第一卡通图像帧FM
i
做生成操作得到所述第二卡通图像帧FL
i
；对所述第二卡通图像帧FL
i
做判别操作；计算所述第二卡通图像帧FL
i
的判别损失具体为：其中，FO
i
表示实时输入的卡通视频的待处理卡通图像帧，DFO
i
表示FO
i
经判别操作得到
的输出，DFL
i
表示FL
i
经判别操作得到的输出；所述对第一卡通图像帧FM
i
做生成操作得到所述第二卡通图像帧FL
i
，具体包括：对所述第一卡通图像帧FM
i
做编码操作得到第一卡通图像帧的编码图像；对所述第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；对所述第一卡通图像帧的残差图像做解码操作，得到所述第二卡通图像帧FL
i
。4.根据权利要求1所述的卡通视频重制方法，其特征在于，所述利用第二卷积神经网络对所述第二卡通图像帧FL
i
做特征融合及处理操作得到第三卡通图像帧FS
i
，具体包括：对所述第二卡通图像帧FL
i
做时域特征融合操作得到时域特征融合图像帧；对所述第二卡通图像帧FL
i
做边缘特征提取操作得到边缘图像帧；将所述时域特征融合图像帧和所述边缘图像帧合并后做特征提取及处理操作得到所述第三卡通图像帧FS
i
。5.根据权利要求1所述的卡通视频重制方法，其特征在于，所述计算并判断所述第三卡通图像帧FS
i
的重建损失质量损失风格损失和色彩损失之和是否在设定范围内，具体包括：计算所述第三卡通图像帧FS
i
与所述卡通图像帧FH
i
的均方误差，作为所述重建损失计算所述第三卡通图像帧FS
i
的质量分数SQ
i
；根据所述质量分数SQ
i
计算所述第三卡通图像帧FS
i
的质量损失的质量损失计算所述第三卡通图像帧FS
i
的风格损失的风格损失其中，DSFH
i
表示FH
i
经风格判别操作得到的输出，DSFS
i
表示FS
i
经风格判别操作得到的输出；计算所述第三卡通图像帧FS
i
的色彩评价分数SC
i
；根据所述色彩评价分数SC
i
计算所述第三卡通图像帧FS
i
的色彩损失的色彩损失其中，i表示所述卡通图像帧的数量，为正整数。6.一种卡通视频重制系统，其特...

【专利技术属性】
技术研发人员：刘晓平，陈缘，赵洋，曹力，李琳，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：