多模块阶梯式融合学习的视频修复方法技术

本发明专利技术公开了一种多模块阶梯式融合学习的视频修复方法，分阶段训练过程用于利用划痕检测模块初筛出一部分划痕，通过函数优化模块进行优化得到最佳的参数θ

【技术实现步骤摘要】
多模块阶梯式融合学习的视频修复方法


[0001]本专利技术属于视频处理
，具体涉及一种多模块阶梯式融合学习的视频修复方法。

技术介绍

[0002]在影片数字化流程中，胶片电影从产生到数字化整个过程中出现的由于各种因素而产生的划痕或污渍，最后数字化成数字视频后会在画面中留下瑕疵，从而影响观看效果，因此去除这些瑕疵是保留影片价值的关键。
[0003]目前针对划痕去除，传统的图像处理方法是检测到划痕的位置，再利用图像相似块进行填补，以上处理方式存在诸多问题，首先检测的准确性不够，其次图像块直接填补的区域会与整体图像差异较大，边缘分界明显。
[0004]且对于不规则区域的修复，传统图像处理方法无能为力，只能使用深度学习的方式，目前有基于三维卷积的方法，运用神经网络训练，可以去除小区域斑点和污渍，但对于视频中出现较大运动位移的物体时，会引入外部噪声，导致处理异常，效果较差。

技术实现思路

[0005]鉴于以上存在的问题，本专利技术提供一种多模块阶梯式融合学习的视频修复方法，用于采用先分阶段训练再融合优化的方式，通过分阶段训练得到针对不同类型瑕疵修复的子模块，再进行特征融合优化，从而得到更加准确的参数，达到对视频进行修复的目的。
[0006]为解决上述技术问题，本专利技术采用如下的技术方案：
[0007]一种多模块阶梯式融合学习的视频修复方法，包括分阶段训练过程，融合优化过程和推理过程，
[0008]所述分阶段训练过程用于利用划痕检测模块初筛出一部分划痕，输入待处理的训练数据对<x_input
t
，y_mask
t
>，表示待处理数据与真实的划痕类型特征，输出筛选出的一组划痕类型特征y_mask
detect
，通过函数优化模块进行优化得到最佳的参数θ
U
；光流变换融合模块输入训练数据序列对<x_input
t
‑
i
，x_input
t
，yt>，其中x_input
t
‑
i
表示待处理的前第i帧，x_input
t
表示待处理的当前帧，y
t
表示真实参考掩模，光流变换Flow需要前后帧分别与当前帧两两运算，首先计算得到两帧之间的光流信息，再做仿射变换操作Warp，最终输出完整变换融合后的序列交给掩模提取模块；掩模提取模块对光流变换融合模块的输出序列进行空间对齐，融合前后帧与当前帧的时序信息，得到准确的掩模信息y
extract
；采用函数优化模块对划痕检测模块单独进行优化，优化目标是真实的划痕类型y_mask
t
和筛选出的划痕类型特征y_mask
detect
，两者之间计算最小重建损失，从而找到最佳的参数θ
U
；采用函数优化模块对光流变换融合模块和掩模提取模块一起优化，优化目标是真实的参考掩模y
t
和提取的掩模信息y
extract
，计算最小重建损失，得到最佳参数θ
F
；
[0009]融合优化过程为划痕检测模块、光流变换融合模块和掩模提取模块分别使用在分阶段训练过程中得到的最佳参数θ
U
与θ
F
，通过函数优化模块对划痕检测模块、光流变换融合
模块、掩模提取模块和多模块融合模块的参数进行整体优化，通过计算基准图像gt和融合数据y_output
fusion
之间的最小重建损失，优化最佳整体参数θ
all
；
[0010]推理过程为划痕检测模块、光流变换融合模块、掩模提取模块和多模块融合模块的参数使用融合优化过程中得到的最佳参数θ
all
，将待处理的视频或图像序列转换成模型适用的数据形式{frame
t
}，处理后的输出帧y
fusion
转换为实际输出的视频序列。
[0011]一种可能的实现方式中，所述划痕检测模块包括多个卷积操作Conv和激活函数，所述激活函数有两类，分别表示为：
[0012]α是可学习参数
[0013][0014]所述划痕检测模块结构为U型金字塔结构，即每层包括一个卷积操作与激活函数，层数不小于六层，前半段层间使用2倍下采样的操作过渡，后半段使用2倍上采样操作过渡，整体表达为U(x)，所述划痕检测模块输入是待处理的训练数据对<x_input
t
，y_mask
t
>，表示待处理数据与真实的划痕类型特征，输出是筛选出的一组划痕类型特征y_mask
detect
，所述划痕检测模块在分阶段训练过程中通过函数优化模块进行优化得到最佳的参数θ
U
。
[0015]一种可能的实现方式中，采用函数优化模块对划痕检测模块单独进行优化，优化目标是真实的划痕类型y_mask
t
和筛选出的划痕类型特征y_mask
detect
，两者之间计算最小重建损失，从而找到最佳的参数θ
U
的公式表示为：
[0016]L＝∑(y_mask
t
‑
y_mask
detect
)2[0017][0018]一种可能的实现方式中，采用函数优化模块对光流变换融合模块和掩模提取模块一起优化，优化目标是真实的参考掩模y
t
和提取的掩模信息y
extract
，计算最小重建损失，得到最佳参数θ
F
的公式表示为：
[0019]L＝∑(y
t
‑
y
extract
)2[0020][0021]一种可能的实现方式中，，推理过程中采用数据流入模块将待处理的视频或图像序列转换成模型适用的数据形式{frame
t
}表示所有帧，其中输入的帧数可根据需要增加或减少，处理好后将数据传人划痕检测模块和光流变换融合模块。
[0022]采用本专利技术具有如下的有益效果：本专利技术的技术方案采用先分阶段训练再融合优化的方式，通过分阶段训练得到针对不同类型瑕疵修复的子模块，再进行特征融合优化，从而得到更加准确的参数，达到对视频进行修复的目的。本专利技术的技术方案分阶段训练不同模块，使模型高度模块化且更具鲁棒性；模型处理后的序列没有大运动带来的伪影问题，修复质量得到提高。
附图说明
[0023]图1为本专利技术实施例的多模块阶梯式融合学习的视频修复方法的流程示意图；
[0024]图2为采用本专利技术实施例的多模块阶梯式融合学习的视频修复方法处理后的一具体应用实例中效果对比图；
[0025]图3为采用本专利技术实施例的多模块阶梯式融合学习的视频修复方法处理后的又一具体应用实例中效果对比图。
具体实施方式<本文档来自技高网...

【技术保护点】

【技术特征摘要】
4.如权利要求1所述的多模块阶梯式融合学习的视频修复方法，其特征在于，采用函数优化模块对光流变换融合模块和掩模提取模块一起优化，优化目标是真实的参考掩模y
t
和提取的掩模信息y
extract
，计算最小重建损失，得到最佳参数θ
F
的公式表示为：L＝∑(y
t
...

【专利技术属性】
技术研发人员：赵浩，陈晓峰，祁伟，谢亚光，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：