一种基于自监督学习的图像修复模型训练方法及终端技术

本发明专利技术公开了一种基于自监督学习的图像修复模型训练方法，S1、根据经修复前后的视频对进行抽帧以及前处理获取初始训练数据对(I

【技术实现步骤摘要】
一种基于自监督学习的图像修复模型训练方法及终端


[0001]本专利技术涉及影视后期制作
，特别涉及一种基于自监督学习的图像修复模型训练方法及终端。

技术介绍

[0002]在影视拍摄中，需要对演员进行化妆，特别地，在古装影片中还需要对演员装配假发。为了消除佩戴假发的痕迹，需要对拍摄完成的影片进行后期修复。通常地，影视后期制作团队对一部电影需要投入电影时长的几十倍甚至上百倍的时间成本进行人工修复，人工修复主采用的方法是逐帧人工识别需要修复区域，后采用不同的修复工具进行修复，而其中的头套修复是影视制作中非常关键的一部分，目前的头套修复依靠的仍然是手工修复。
[0003]而人工修复不仅费时费力，且由于不同人员修复标准不一，而一部影片通常根据场景分配给不同的后期人员修复，从而造成修复后的成片连贯性较差，此外，人工逐帧修复后视频前后帧存在抖动问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种基于自监督学习的图像修复模型训练方法及终端，其训练后的模型能自动实现对影视图像进行修复。/>[0005]为了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的图像修复模型训练方法，其特征在于，包括步骤：S1、根据经修复前后的视频对进行抽帧以及前处理获取初始训练数据对(I
k
,GT
k
)；S2、根据初始训练数据对(I
k
,GT
k
)，采用损失函数L作为目标对图像修复模型进行训练；所述损失函数包括关于纹理细节的损失函数Loss1和关于纹理抖动的损失函数Loss2。2.根据权利要求1所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述关于纹理细节的损失函数Loss1，其具体是计算初始训练数据GT
k
与初始训练数据I
k
图像修复模型处理后的距离作为关于纹理细节的损失函数Loss1，其表达式如下：Loss1＝‖F(I
k
)
‑
GT
k
‖1；式中，F(
·
)为图像修复模型的函数；所述关于纹理抖动的损失函数Loss2，其具体是对初始训练数据对中的图片I
k
进行随机仿射变换得到I
’
k
，将I
k
和I
’
k
一并输入所述图像修复模型，最后计算所述图像修复模型处理后的I
k
和I
’
k
的距离作为关于纹理抖动的损失函数Loss2，其表达式如下：Loss2＝‖F(I
’
k
)
‑
F(I
k
)‖1。3.根据权利要求2所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述随机仿射变换包括旋转、平移和缩放，所述旋转角度θ服从均匀分布θ～U(
‑
10,10)，平移T服从均匀分布T～U(
‑
0.1,0.1)，缩放S服从均匀分布S～U(0.8,1.2)。4.根据权利要求1所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述图像修复模型具体是UNet网络结构的卷积神经网络模型。5.根据权利要求4所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述图像修复模型包括1个特征保持模块、8个下采样模块以及8个上采样模块，所述特征保持模块和下采样模块均包括卷积层、批归一化层和激活函数层组成，上采样模块包括卷积层、批归一化层、激活函数层和双线性上采样层。6.根据权利要求5所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，特征保持模块采用的卷积核大小为3x3，填充为1，步幅为1；下采样模块的卷积核大小为3x3，填充为1，步幅为2；上采样模块卷积层的卷积核大小为3x3，填充为1，步幅为1。7.根据权利要求1任一项所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述步骤S1包括以下步骤：S11、对已经修复前后的视频对(V
i
,VT
i<...

【专利技术属性】
技术研发人员：周远波，邓炜，高钦泉，童同，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：