视频的抠像方法、装置、计算设备及存储介质制造方法及图纸

本申请实施例公开一种视频的抠像方法、装置、计算设备及存储介质，其中，视频的抠像方法，包括：获得待抠像的视频中的图像帧T；判断图像帧T是否为首帧图像；如果否，将图像帧T和视频的图像帧T

【技术实现步骤摘要】
视频的抠像方法、装置、计算设备及存储介质


[0001]本申请涉及图像处理
，具体而言，涉及一种视频的抠像方法、装置、计算设备及存储介质。

技术介绍

[0002]随着抠像技术的发展，目前，已经从云端发展到移动端，从处理单张的图像到处理视频的抠像。然而，在视频抠像中，如果用单张抠像的技术去处理视频的抠像，通常易遇到预测结果(即：有的图像帧的抠像结果)闪烁的问题。其原因是越快的抠像模型通常越小，而越小的抠像模型通常不能够像云端的大模型那样做到抠像的高精度，因此，只要有一帧没有抠好，可能就会看起来闪烁，观看体验变差。因此，视频抠像的稳定性的问题是视频抠像中需要解决的问题。
[0003]相关技术中，处理视频抠像稳定性的方式通常是采用图像后处理技术，例如：对抠像结果运用投票方式或是高斯平滑之类的稳像算法，让抠像结果看起来更加稳定，存在如下缺点：需要进行图像的后处理，因此，计算成本较高，对计算资源的消耗较大。

技术实现思路

[0004]针对上述现有技术中存在的问题，本申请实施例提供了一种视频的抠像方法、装置、计算设备及存储介质，可以有效降低计算成本的同时提升视频抠像的稳定性。
[0005]第一方面，本申请实施例提供了一种视频的抠像方法，包括：
[0006]获得待抠像的视频中的图像帧T，所述T为正整数；
[0007]判断所述图像帧T是否为所述视频的首帧图像；
[0008]如果否，则将所述图像帧T和所述视频的图像帧T
‑
1的抠像推理参数输入抠像模型中，得到所述图像帧T的抠像图，其中，所述抠像模型包括编码模块、ConvGRU时序模块和解码模块，所述编码模块对所述图像帧T进行编码得到编码结果，所述ConvGRU时序模块根据输入的所述图像帧T的编码结果和所述图像帧T
‑
1的抠像推理参数得到所述图像帧T的抠像推理参数，所述解码模块对所述图像帧T的抠像推理参数进行解码得到所述图像帧T的抠像图。
[0009]进一步地，还包括：
[0010]如果所述图像帧T为所述视频的首帧图像，则将所述图像帧T输入所述抠像模型中，得到所述抠像模型的ConvGRU时序模块输出的所述图像帧T的抠像推理参数，并得到所述抠像模型的解码模块输出的图像帧T的抠像图。
[0011]进一步地，还包括：
[0012]如果所述图像帧T为所述视频的尾帧图像，则在得到所述图像帧T的抠像图之后，退出所述视频的抠像流程。
[0013]进一步地，所述编码模块包括多个卷积网络，所述图像帧T依次通过所述多个卷积网络进行卷积操作，得到所述图像帧T的特征数据，并将所述特征数据作为所述编码结果输
入所述抠像模型的ConvGRU时序模块。
[0014]进一步地，所述解码模块对所述ConvGRU时序模块输出的所述图像帧T的抠像推理参数进行反卷积和融合操作，得到所述图像帧T的抠像图。
[0015]进一步地，还包括：
[0016]将视频的训练样本输入初始抠像模型，并根据所述初始抠像模型的抠像结果和所述训练样本标定好的抠像结果之间的损失训练所述初始抠像模型，得到所述抠像模型。
[0017]第二方面，本申请实施例还提供了一种视频的抠像装置，包括：
[0018]获取模块，用于获得待抠像的视频中的图像帧T，所述T为正整数；
[0019]判断模块，用于判断所述图像帧T是否为所述视频的首帧图像；
[0020]抠像模块，用于在所述图像帧T不是所述视频的首帧图像时，将所述图像帧T和所述视频的图像帧T
‑
1的抠像推理参数输入抠像模型中，得到所述图像帧T的抠像图，其中，所述抠像模型包括编码模块、ConvGRU时序模块和解码模块，所述编码模块对所述图像帧T进行编码得到编码结果，所述ConvGRU时序模块根据输入的所述图像帧T的编码结果和所述图像帧T
‑
1的抠像推理参数得到所述图像帧T的抠像推理参数，所述解码模块对所述图像帧T的抠像推理参数进行解码得到所述图像帧T的抠像图。
[0021]第三方面，本申请实施例还提供了一种计算设备，其中，包括：存储器以及处理器，所述存储器用于存储并支持处理器执行第一方面中任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0022]第四方面，本申请实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读存储介质，其中，所述程序代码使所述处理器执行所述第一方面的任一所述方法。
[0023]第五方面，本申请实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机程序产品，其中，所述程序代码使所述处理器执行所述第一方面的任一所述方法。
[0024]本申请实施例带来了以下有益效果：
[0025]本申请实施例提供的视频的抠像方法、装置、计算设备及存储介质，对视频中连续的图像帧进行抠像处理时，抠像模型使用当前图像帧的特征数据以及前一帧图像的抠像情况进行当前图像帧的抠像，即当前图像帧的抠像结果不仅使用该帧图像进行抠像，还融合了前一帧图像的抠像情况，从而提升了视频中连续的图像帧的抠像结果的稳定性，避免了闪烁，提升了视觉效果。此外，相对于现有技术中使用图像后处理方法用投票方式或是高斯平滑之类的稳像算法让抠像结果稳定的方式相比，不需要采用图像后处理技术来增加抠像的稳定性，可以有效地减少计算成本。
附图说明
[0026]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0027]图1为本申请实施例提供的视频的抠像方法的流程图；
[0028]图2为本申请实施例提供的视频的抠像方法中抠像模型的示意图；
[0029]图3为本申请实施例提供的视频的抠像方法的详细流程图；
[0030]图4为本申请实施例提供的视频的抠像装置的结构框图；
[0031]图5为本申请实施例提供的计算设备的示意图。
[0032]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0033]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关公开，而非对该公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与公开相关的部分。
[0034]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0035]以下结合附图描述根据本申请实施例的视频的抠像方法、装置、计算设备及存储介质。
[0036]本申请实施例的视频的抠像方法的实施环境，可以由个人的计算设备，如：计算机设备、移动终端等获得待抠像的视频中的图像帧T，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频的抠像方法，其特征在于，包括：获得待抠像的视频中的图像帧T，所述T为正整数；判断所述图像帧T是否为所述视频的首帧图像；如果否，则将所述图像帧T和所述视频的图像帧T
‑
1的抠像推理参数输入抠像模型中，得到所述图像帧T的抠像图，其中，所述抠像模型包括编码模块、ConvGRU时序模块和解码模块，所述编码模块对所述图像帧T进行编码得到编码结果，所述ConvGRU时序模块根据输入的所述图像帧T的编码结果和所述图像帧T
‑
1的抠像推理参数得到所述图像帧T的抠像推理参数，所述解码模块对所述图像帧T的抠像推理参数进行解码得到所述图像帧T的抠像图。2.根据权利要求1所述的视频的抠像方法，其特征在于，还包括：如果所述图像帧T为所述视频的首帧图像，则将所述图像帧T输入所述抠像模型中，得到所述抠像模型的ConvGRU时序模块输出的所述图像帧T的抠像推理参数，并得到所述抠像模型的解码模块输出的图像帧T的抠像图。3.根据权利要求1或2所述的视频的抠像方法，其特征在于，还包括：如果所述图像帧T为所述视频的尾帧图像，则在得到所述图像帧T的抠像图之后，退出所述视频的抠像流程。4.根据权利要求1或2所述的视频的抠像方法，其特征在于，所述编码模块包括多个卷积网络，所述图像帧T依次通过所述多个卷积网络进行卷积操作，得到所述图像帧T的特征数据，并将所述特征数据作为所述编码结果输入所述抠像模型的ConvGRU时序模块。5.根据权利要求1或2所述的视频的抠像方法，其特征在于，所述解码模块对所述ConvGRU时序模块输出的所述图像帧T的抠像推理参数进行反卷积和融合操作，得到所述...

【专利技术属性】
技术研发人员：陈信宇，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：