一种基于自监督学习的图像修复模型训练方法及终端技术

本发明专利技术公开了一种基于自监督学习的图像修复模型训练方法，S1、根据经修复前后的视频对进行抽帧以及前处理获取初始训练数据对(I

【技术实现步骤摘要】
一种基于自监督学习的图像修复模型训练方法及终端


[0001]本专利技术涉及影视后期制作
，特别涉及一种基于自监督学习的图像修复模型训练方法及终端。

技术介绍

[0002]在影视拍摄中，需要对演员进行化妆，特别地，在古装影片中还需要对演员装配假发。为了消除佩戴假发的痕迹，需要对拍摄完成的影片进行后期修复。通常地，影视后期制作团队对一部电影需要投入电影时长的几十倍甚至上百倍的时间成本进行人工修复，人工修复主采用的方法是逐帧人工识别需要修复区域，后采用不同的修复工具进行修复，而其中的头套修复是影视制作中非常关键的一部分，目前的头套修复依靠的仍然是手工修复。
[0003]而人工修复不仅费时费力，且由于不同人员修复标准不一，而一部影片通常根据场景分配给不同的后期人员修复，从而造成修复后的成片连贯性较差，此外，人工逐帧修复后视频前后帧存在抖动问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种基于自监督学习的图像修复模型训练方法及终端，其训练后的模型能自动实现对影视图像进行修复。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种基于自监督学习的图像修复模型训练方法，包括步骤：
[0007]S1、根据经修复前后的视频对进行抽帧以及前处理获取初始训练数据对(I
k
,GT
k
)；
[0008]S2、根据初始训练数据对(I
k
,GT
k
)，采用损失函数L作为目标对图像修复模型进行训练；
[0009]所述损失函数包括关于纹理细节的损失函数Loss1和关于纹理抖动的损失函数Loss2。
[0010]为了解决上述技术问题，本专利技术采用的另一种技术方案为：
[0011]一种基于自监督学习的图像修复模型训练终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
[0012]本专利技术的有益效果在于：一种基于自监督学习的图像修复模型训练方法及终端，通过修复前后训练数据作为基础训练数据，采用包括纹理细节和纹理抖动的损失函数作为目标训练图像修复模型，训练后的图像修复模型用于对影视图像进行修复，不仅节约人力和物力，显著提升影视后期制作的效率，且可以避免不同人员手工修复引入的不连贯性和修复后成片前后帧抖动的问题。
附图说明
[0013]图1为本专利技术实施例的一种基于自监督学习的图像修复模型训练方法的流程示意
图；
[0014]图2为本专利技术实施例涉及的关键点对齐算法的流程示意图；
[0015]图3为本专利技术实施例涉及的卷积神经网络模型的结构示意图；
[0016]图4为本专利技术实施例涉及的修复前后图片的差值示意图；
[0017]图5为本专利技术实施例的一种基于自监督学习的图像修复模型训练终端的结构示意图。
[0018]标号说明：
[0019]1、一种基于自监督学习的图像修复模型训练终端；2、处理器；3、存储器。
具体实施方式
[0020]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0021]请参照图1至图4，一种基于自监督学习的图像修复模型训练方法，包括步骤：
[0022]S1、根据经修复前后的视频对进行抽帧以及前处理获取初始训练数据对(I
k
,GT
k
)；
[0023]S2、根据初始训练数据对(I
k
,GT
k
)，采用损失函数L作为目标对图像修复模型进行训练；
[0024]所述损失函数包括关于纹理细节的损失函数Loss1和关于纹理抖动的损失函数Loss2。
[0025]由上述描述可知，本专利技术的有益效果在于：一种基于自监督学习的图像修复模型训练方法及终端，通过修复前后训练数据作为基础训练数据，采用包括纹理细节和纹理抖动的损失函数作为目标训练的模型对影视图像进行修复，不仅节约人力和物力，显著提升影视后期制作的效率，且可以避免不同人员手工修复引入的不连贯性和修复后成片前后帧抖动的问题。
[0026]进一步地，所述关于纹理细节的损失函数Loss1，其具体是计算初始训练数据GT
k
与图像修复模型处理后的初始训练数据I
k
的距离作为关于纹理细节的损失函数Loss1，其表达式如下：
[0027]Loss1＝‖F(I
k
)
‑
GT
k
‖1；
[0028]式中，F(
·
)为图像修复模型的函数；
[0029]所述关于纹理抖动的损失函数Loss2，其具体是对初始训练数据对中的图片I
k
进行随机仿射变换得到I
’
k
，将I
k
和I
’
k
一并输入图像修复模型，最后计算图像修复模型处理后的I
k
和I
’
k
的距离作为关于纹理抖动的损失函数Loss2，其表达式如下：
[0030]Loss2＝‖F(I
’
k
)
‑
F(I
k
)‖1。
[0031]由上述描述可知，损失函数不仅保证了纹理细节，也避免了纹理抖动。
[0032]进一步地，所述随机仿射变换包括旋转、平移和缩放，所述旋转角度θ服从均匀分布θ～U(
‑
10,10)，平移T服从均匀分布T～U(
‑
0.1,0.1)，缩放S服从均匀分布S～U(0.8,1.2)。
[0033]由上述描述可知，通过添加随机仿射变换，提升模型在修复旋转、平移和缩放视频的鲁棒性，防止前后帧纹理的抖动现象，具体参数保证最好的效果。
[0034]进一步地，所述图像修复模型具体是UNet网络结构的卷积神经网络模型。
[0035]由上述描述可知，UNet网络结构对于任意形状大小的输入图像处理均能起到良好的效果。
[0036]进一步地，所述卷积神经网络模型包括1个特征保持模块、8个下采样模块以及8个上采样模块，所述特征保持模块和下采样模块均包括卷积层、批归一化层和激活函数层组成，上采样模块包括卷积层、批归一化层、激活函数层和双线性上采样层。
[0037]由上述描述可知，本专利技术给出了UNet网络结构的具体构成。
[0038]进一步地，特征保持模块采用的卷积核大小为3x3，填充为1，步幅为1；
[0039]下采样模块的卷积核大小为3x3，填充为1，步幅为2；
[0040]上采样模块卷积层的卷积核大小为3x3，填充为1，步幅为1。
[0041]由上述描述可知，给出了UNet网络结构的具体参数以保证最好的修复效果。
[0042]进一步地，其特征在于，所述步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的图像修复模型训练方法，其特征在于，包括步骤：S1、根据经修复前后的视频对进行抽帧以及前处理获取初始训练数据对(I
k
,GT
k
)；S2、根据初始训练数据对(I
k
,GT
k
)，采用损失函数L作为目标对图像修复模型进行训练；所述损失函数包括关于纹理细节的损失函数Loss1和关于纹理抖动的损失函数Loss2。2.根据权利要求1所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述关于纹理细节的损失函数Loss1，其具体是计算初始训练数据GT
k
与初始训练数据I
k
图像修复模型处理后的距离作为关于纹理细节的损失函数Loss1，其表达式如下：Loss1＝‖F(I
k
)
‑
GT
k
‖1；式中，F(
·
)为图像修复模型的函数；所述关于纹理抖动的损失函数Loss2，其具体是对初始训练数据对中的图片I
k
进行随机仿射变换得到I
’
k
，将I
k
和I
’
k
一并输入所述图像修复模型，最后计算所述图像修复模型处理后的I
k
和I
’
k
的距离作为关于纹理抖动的损失函数Loss2，其表达式如下：Loss2＝‖F(I
’
k
)
‑
F(I
k
)‖1。3.根据权利要求2所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述随机仿射变换包括旋转、平移和缩放，所述旋转角度θ服从均匀分布θ～U(
‑
10,10)，平移T服从均匀分布T～U(
‑
0.1,0.1)，缩放S服从均匀分布S～U(0.8,1.2)。4.根据权利要求1所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述图像修复模型具体是UNet网络结构的卷积神经网络模型。5.根据权利要求4所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述图像修复模型包括1个特征保持模块、8个下采样模块以及8个上采样模块，所述特征保持模块和下采样模块均包括卷积层、批归一化层和激活函数层组成，上采样模块包括卷积层、批归一化层、激活函数层和双线性上采样层。6.根据权利要求5所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，特征保持模块采用的卷积核大小为3x3，填充为1，步幅为1；下采样模块的卷积核大小为3x3，填充为1，步幅为2；上采样模块卷积层的卷积核大小为3x3，填充为1，步幅为1。7.根据权利要求1任一项所述的一种基于自监督学习的图像修复模型训练方法，其特征在于，所述步骤S1包括以下步骤：S11、对已经修复前后的视频对(V
i
,VT
i<...

【专利技术属性】
技术研发人员：周远波，邓炜，高钦泉，童同，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：