基于模型先验的图像补全方法、系统、设备及存储介质技术方案

本申请实施例公开了一种基于模型先验的图像补全方法、系统、设备及存储介质。本申请实施例提供的技术方案，通过获取缺失图像以及缺失图像的指定补全区域信息；进而将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像。其中，该图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛。该预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本。采用上述技术手段，可以提供更真实且多样的图像补全结果，提升图像补全模型补全图像的多样性。升图像补全模型补全图像的多样性。升图像补全模型补全图像的多样性。

【技术实现步骤摘要】
基于模型先验的图像补全方法、系统、设备及存储介质


[0001]本申请实施例涉及计算机视觉
，尤其涉及一种基于模型先验的图像补全方法、系统、设备及存储介质。

技术介绍

[0002]目前，图像补全技术广泛应用于短视频、直播等各种场景中。图像补全技术(image inpainting)是计算机视觉领域的一个重要的技术方向，其用于将图像不可见或者缺失部分补全，同时让整个图像合理，没有违和感，使补全后的图像尽量真实。现有的图像补全技术主要基于图像补全模型实现，图像补全模型基于生成对抗网络构建。通过训练基于生成对抗网络的图像补全模型，训练时随机遮罩一些区域用于补全，从而实现图像补全。
[0003]但是，现有简单通过遮罩图像部分区域进行模型训练得到的图像补全模型，其补全图像相对较为单一，缺乏多样性。以此得到的补全图像，其补全效果相对较差，容易导致补全图像存在违和感。

技术实现思路

[0004]本申请实施例提供一种基于模型先验的图像补全方法、系统、设备及存储介质，能够提升补全图像的多样性，提升图像补全效果，解决现有图像补全模型补全本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型先验的图像补全方法，其特征在于，包括：获取缺失图像以及所述缺失图像的指定补全区域信息；将所述缺失图像和所述指定补全区域信息输入预构建的图像补全模型，输出所述缺失图像的补全图像，所述图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于所述预训练模型的训练样本以及所述预训练模型生成的先验样本进行图像补全训练，直至所述图像补全模型收敛；所述预训练模型预先基于所述训练样本进行图像补全训练，在所述预训练模型收敛后，基于所述预训练模型生成所述先验样本，所述先验样本包括加噪图像和对应所述加噪图像进行图像补全得到的多个去噪图像。2.根据权利要求1所述的基于模型先验的图像补全方法，其特征在于，所述预训练模型的训练流程包括：基于所述预训练模型对所述训练样本进行加噪处理得到加噪样本；基于所述预训练模型对所述加噪样本进行图像补全得到去噪样本，并根据所述去噪样本计算第一模型损失函数，基于所述第一模型损失函数迭代调整所述预训练模型的模型参数，直至所述预训练模型收敛。3.根据权利要求2所述的基于模型先验的图像补全方法，其特征在于，所述基于所述预训练模型对所述训练样本进行加噪处理得到加噪样本，包括：在设定时段内的每一个指定时刻，基于所述预训练模型对所述训练样本的训练图像加入高斯分布噪声，得到各个训练图像的高斯噪声分布概率，以各个训练图像的高斯噪声分布概率作为所述加噪样本；所述基于所述预训练模型对所述加噪样本进行图像补全得到去噪样本，包括：基于各个训练图像的高斯噪声分布概率以及设定估计参数依次预测所述设定时段内各个指定时刻的实时噪声分布概率，并以所述设定时段内的第一个指定时刻的预测结果作为所述去噪样本。4.根据权利要求1所述的基于模型先验的图像补全方法，其特征在于，所述基于所述预训练模型生成所述先验样本，包括：将所述加噪图像输入所述预训练模型，基于所述预训练模型进行所述加噪图像设定次数的图像补全，得到对应数量的所述去噪图像，以设定数量的所述加噪图像和对应的所述去噪图像作为所述先验样本。5.根据权利要求4所述的基于模型先验的图像补全方法，其特征在于，在基于所述预训练模型生成所述先验样本之后，还...

【专利技术属性】
技术研发人员：李安，李玉乐，项伟，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：