视频修复处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种视频修复处理方法、装置、计算机设备和存储介质。所述方法包括：对原始视频中的原始图像进行场替换处理，得到多个第一图像；对所述第一图像进行交错检测得到交错检测结果；所述交错检测结果用于反映所述第一图像的交错场纹数量；根据所述交错检测结果对所述多个第一图像进行筛选，得到第二图像；基于所述第二图像进行残差特征提取，得到所述第二图像中的场数据对应的残差特征数据；将所述残差特征数据叠加至相应的所述第二图像中的场数据，得到反交错修复后的目标图像；所述目标图像用于作为视频帧以构成修复后的目标视频。采用本方法能够提高视频修复的效率。频。采用本方法能够提高视频修复的效率。频。采用本方法能够提高视频修复的效率。

【技术实现步骤摘要】
视频修复处理方法、装置、计算机设备和存储介质


[0001]本申请涉及视频处理
，特别是涉及一种视频修复处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]许多年代久远的视频在制作完成之后，为了能够适应不同制式的电视和数字影碟，视频在存储时都经过了胶卷过带(Telecine)处理。然而，随着视频处理技术的发展，经过胶卷过带的视频在现代逐行扫描的显示器播放时，会存在交错场纹以及画面卡顿等画质问题。
[0003]传统技术中，使用逆胶卷过带法处理胶卷过带问题，由于需要对视频中每一帧进行分析后，再使用不同的方法去逆向还原，修复的过程必须人工介入，会造成视频修复的效率低的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高效率的视频修复处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种视频修复处理方法。所述方法包括：
[0006]对原始视频中的原始图像进行场替换处理，得到多个第一图像；
[0007]对所述第一图像进行交错检测得到交错检测结果；所述交错检测结果用于反映所述第一图像的交错场纹数量；
[0008]根据所述交错检测结果对所述多个第一图像进行筛选，得到第二图像；
[0009]基于所述第二图像进行残差特征提取，得到所述第二图像中的场数据对应的残差特征数据；
[0010]将所述残差特征数据叠加至相应的所述第二图像中的场数据，得到反交错修复后的目标图像；所述目标图像用于作为视频帧以构成修复后的目标视频。
[0011]在其中一个实施例中，所述对原始视频中的原始图像进行场替换处理，得到多个第一图像包括：基于原始视频中原始图像对应的时序，确定图像组；所述图像组中包括多个时序连续的原始图像；分别使用所述图像组中多个原始图像中的偶场数据替换中位原始图像中的偶场数据，并保留所述中位原始图像中的奇场数据，得到所述图像组对应的多个第一图像；所述中位原始图像是所述图像组中相应时序处于中位的原始图像。
[0012]在其中一个实施例中，所述交错检测结果包括交错得分；所述对所述第一图像进行交错检测得到交错检测结果包括：将所述第一图像输入至交错检测模型中，通过所述交错检测模型检测所述第一图像中的交错场纹，以预测所述第一图像对应的交错得分。
[0013]在其中一个实施例中，所述基于所述第二图像进行残差特征提取，得到所述第二图像中的场数据对应的残差特征数据包括：对所述第二图像中的偶场数据和奇场数据进行残差特征提取，得到所述第二图像中的偶场数据对应的偶场残差数据，以及所述第二图像
中的奇场数据对应的奇场残差数据；所述将所述残差特征数据叠加至相应的所述第二图像中的场数据，得到反交错修复后的目标图像包括：通过将所述偶场残差数据与所述第二图像中的偶场数据相叠加，得到反交错后的偶场图像；通过将所述奇场残差数据与所述第二图像中的奇场数据相叠加，得到反交错后的奇场图像；从所述偶场图像和所述奇场图像中筛选出目标图像。
[0014]在其中一个实施例中，所述对所述第二图像中的偶场数据和奇场数据进行残差特征提取，得到所述第二图像中的偶场数据对应的偶场残差数据，以及所述第二图像中的奇场数据对应的奇场残差数据包括：将所述第二图像输入至反交错模型中的交错分割层，以通过所述交错分割层从所述第二图像中确定出奇场数据和偶场数据；所述反交错模型还包括注意力特征提取层；将所述第二图像的奇场数据和偶场数据合并输入至所述注意力特征提取层，以进行残差特征提取，得到所述第二图像的偶场数据对应的偶场残差数据，以及所述第二图像的奇场数据对应的奇场残差数据。
[0015]在其中一个实施例中，针对原始视频处理得到的反交错修复后的目标图像为多个；所述方法还包括：对多个目标图像进行分段，得到交错视频段；所述交错视频段具有对应的重复帧数；针对所述交错视频段中多个目标图像，确定所述多个目标图像中的相邻图像之间的相似度；根据所述相似度，从所述交错视频段中确定满足重复帧数的重复帧图像；从所述交错视频段中抽取出重复帧图像；抽取重复帧图像后剩余的目标图像，用于作为视频帧以构成修复后的目标视频。
[0016]在其中一个实施例中，所述方法还包括：提取所述目标图像中的纹理特征信息；基于所述纹理特征信息对所述目标图像进行超分增强，得到超分增强后的目标图像。
[0017]第二方面，本申请还提供了一种视频修复处理装置。所述装置包括：
[0018]反交错模块，用于对原始视频中的原始图像进行场替换处理，得到多个第一图像；对所述第一图像进行交错检测得到交错检测结果；所述交错检测结果用于反映所述第一图像的交错场纹数量；根据所述交错检测结果对所述多个第一图像进行筛选，得到第二图像；
[0019]修复模块，用于基于所述第二图像进行残差特征提取，得到所述第二图像中的场数据对应的残差特征数据；将所述残差特征数据叠加至相应的所述第二图像中的场数据，得到反交错修复后的目标图像；所述目标图像用于作为视频帧以构成修复后的目标视频。
[0020]在其中一个实施例中，所述反交错模块，用于基于原始视频中原始图像对应的时序，确定图像组；所述图像组中包括多个时序连续的原始图像；分别使用所述图像组中多个原始图像中的偶场数据替换中位原始图像中的偶场数据，并保留所述中位原始图像中的奇场数据，得到所述图像组对应的多个第一图像；所述中位原始图像是所述图像组中相应时序处于中位的原始图像。
[0021]在其中一个实施例中，所述交错检测结果包括交错得分；所述反交错模块，用于将所述第一图像输入至交错检测模型中，通过所述交错检测模型检测所述第一图像中的交错场纹，以预测所述第一图像对应的交错得分。
[0022]在其中一个实施例中，所述修复模块，用于对所述第二图像中的偶场数据和奇场数据进行残差特征提取，得到所述第二图像中的偶场数据对应的偶场残差数据，以及所述第二图像中的奇场数据对应的奇场残差数据；用于通过将所述偶场残差数据与所述第二图像中的偶场数据相叠加，得到反交错后的偶场图像；通过将所述奇场残差数据与所述第二
图像中的奇场数据相叠加，得到反交错后的奇场图像；从所述偶场图像和所述奇场图像中筛选出目标图像。
[0023]在其中一个实施例中，所述修复模块，用于将所述第二图像输入至反交错模型中的交错分割层，以通过所述交错分割层从所述第二图像中确定出奇场数据和偶场数据；所述反交错模型还包括注意力特征提取层；将所述第二图像的奇场数据和偶场数据合并输入至所述注意力特征提取层，以进行残差特征提取，得到所述第二图像的偶场数据对应的偶场残差数据，以及所述第二图像的奇场数据对应的奇场残差数据。
[0024]在其中一个实施例中，针对原始视频处理得到的反交错修复后的目标图像为多个；所述修复模块，用于对多个目标图像进行分段，得到交错视频段；所述交错视频段具有对应的重复帧数；针对所述交错视频段中多个目标图像，确定所述多个目标图像中的相邻图像之间的相似度；根据所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频修复处理方法，其特征在于，所述方法包括：对原始视频中的原始图像进行场替换处理，得到多个第一图像；对所述第一图像进行交错检测得到交错检测结果；所述交错检测结果用于反映所述第一图像的交错场纹数量；根据所述交错检测结果对所述多个第一图像进行筛选，得到第二图像；基于所述第二图像进行残差特征提取，得到所述第二图像中的场数据对应的残差特征数据；将所述残差特征数据叠加至相应的所述第二图像中的场数据，得到反交错修复后的目标图像；所述目标图像用于作为视频帧以构成修复后的目标视频。2.根据权利要求1所述的方法，其特征在于，所述对原始视频中的原始图像进行场替换处理，得到多个第一图像包括：基于原始视频中原始图像对应的时序，确定图像组；所述图像组中包括多个时序连续的原始图像；分别使用所述图像组中多个原始图像中的偶场数据替换中位原始图像中的偶场数据，并保留所述中位原始图像中的奇场数据，得到所述图像组对应的多个第一图像；所述中位原始图像是所述图像组中相应时序处于中位的原始图像。3.根据权利要求1所述的方法，其特征在于，所述交错检测结果包括交错得分；所述对所述第一图像进行交错检测得到交错检测结果包括：将所述第一图像输入至交错检测模型中，通过所述交错检测模型检测所述第一图像中的交错场纹，以预测所述第一图像对应的交错得分。4.根据权利要求1所述的方法，其特征在于，所述基于所述第二图像进行残差特征提取，得到所述第二图像中的场数据对应的残差特征数据包括：对所述第二图像中的偶场数据和奇场数据进行残差特征提取，得到所述第二图像中的偶场数据对应的偶场残差数据，以及所述第二图像中的奇场数据对应的奇场残差数据；所述将所述残差特征数据叠加至相应的所述第二图像中的场数据，得到反交错修复后的目标图像包括：通过将所述偶场残差数据与所述第二图像中的偶场数据相叠加，得到反交错后的偶场图像；通过将所述奇场残差数据与所述第二图像中的奇场数据相叠加，得到反交错后的奇场图像；从所述偶场图像和所述奇场图像中筛选出目标图像。5.根据权利要求4所述的方法，其特征在于，所述对所述第二图像中的偶场数据和奇场数据进行残差特征提取，得到所述第二图像中的偶场数据对应的...

【专利技术属性】
技术研发人员：郑森圭，郑舒婷，韦访，蒋念娟，沈小勇，吕江波，
申请(专利权)人：深圳思谋信息科技有限公司，
类型：发明
国别省市：