视频流抠像方法和装置制造方法及图纸

在本公开中提供了一种视频流抠像方法和装置，该方法包括获取待处理视频流，并从待处理视频流中提取出待处理图像帧；采用预先构建的目标抠像网络模型，由待处理图像帧中提取出目标的蒙版图；将目标对象的蒙版图、待处理图像帧以及预设的背景图像进行融合，得到目标图像帧，并基于目标图像帧生成抠像处理后的视频流。由于本公开中的目标抠像网络模型是基于空洞空间金字塔池化网络构建的，从而使目标抠像网络模型具有更广阔的感受视野，提升了目标抠像网络模型的抠像精度。像网络模型的抠像精度。像网络模型的抠像精度。

【技术实现步骤摘要】
视频流抠像方法和装置


[0001]本公开涉及图像处理
，尤其涉及一种视频流抠像方法和装置。

技术介绍

[0002]视频流抠像是将视频流中每一帧图像的目标区域从视频中精确地提取出来，即将原视频中的目标区域与与背景区域进行分离的过程，主要目的是为后期的特效合成做准备，被广泛应用于游戏、影视以及直播行业。
[0003]目前，抠像方法主要分为手动抠像与自动抠像两种。手动抠像依赖人工通过抠像软件对视频进行逐帧抠像，精度很高，但是十分耗费人力。自动抠像主要为搭建基于深度学习算法的目标抠像网络模型，以通过目标抠像网络模型实现视频流的自动抠像处理。自动抠像技术的出现大大降低了抠像的人力成本，但是目前在采用小模型进行实时视频流抠像时，抠像精度较低，无法满足高精度抠像场景的需求。

技术实现思路

[0004]有鉴于此，本公开提出了一种视频流抠像方法、装置和设备，可以提高小模型的抠像精度。
[0005]根据本公开的第一方面，提供了一种视频流抠像方法，包括：
[0006]获取待处理视频流，并从所述待处理视频流中提取出待处理图像帧；
[0007]采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图；
[0008]将所述蒙版图、所述待处理的帧图像以及预设的背景图像进行融合，得到目标图像帧，并基于所述目标图像帧生成抠像处理后的视频流；
[0009]其中，所述目标抠像网络模型基于空洞空间金字塔池化网络构建。
[0010]在一种可能的实现方式中，在采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图时，包括：
[0011]由所述待处理图像帧中提取出不同尺度的第一特征图；
[0012]对最小尺度的第一特征图，采用空洞空间金字塔池化网络进行上下文信息提取得到第二特征图；
[0013]将所述第二特征图与不同尺度的所述第一特征图进行特征融合，并将特征融合结果作为所述目标对象的蒙版图。
[0014]在一种可能的实现方式中，所述空洞空间金字塔池化网络包括至少两种不同扩张率的空洞卷积核。
[0015]在一种可能的实现方式中，所述空洞空间金字塔池化网络包括四种不同扩张率的空洞卷积核。
[0016]在一种可能的实现方式中，所述目标抠像网络模型还包括轻量级骨干特征提取网络；
[0017]在由所述待处理图像帧中提取出不同尺度的第一特征图时，基于所述轻量级骨干特征提取网络实现。
[0018]在一种可能的实现方式中，所述目标抠像网络模型还包括特征融合网络；
[0019]在将所述第二特征图与不同尺度的所述第一特征图进行特征融合，并将特征融合结果作为所述目标对象的蒙版图时，基于所述特征融合网络实现。
[0020]在一种可能的实现方式中，所述特征融合网络基于特征金字塔网络构建。
[0021]在一种可能的实现方式中，所述目标抠像网络模型基于预先构建的训练数据，采用AdamW优化器和权重衰减的梯度下降策略训练得到。
[0022]在一种可能的实现方式中，在从所述待处理视频流中提取出待处理图像帧后，还包括对所述待处理图像帧进行标准化处理的操作；
[0023]在对所述待处理图像帧进行标准化处理后，采用预先构建的目标抠像网络模型，由标准化处理后的待处理图像帧中提取出目标对象的蒙版图。
[0024]根据本公开的第二方面，提供了一种视频流抠像装置，包括：
[0025]图像帧提取模块，用于获取待处理视频流，并从所述待处理视频流中提取出待处理图像帧；
[0026]抠像模块，用于采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图；
[0027]图像融合模块，用于将所述蒙版图、所述待处理的图像帧以及预设的背景图像进行融合，得到目标图像帧，并基于所述目标图像帧生成抠像处理后的视频流；
[0028]其中，所述目标抠像网络模型基于空洞空间金字塔池化网络构建。
[0029]在本公开中，在进行视频流抠像时，包括获取待处理视频流，并从待处理视频流中提取出待处理图像帧；采用预先构建的目标抠像网络模型，由待处理图像帧中提取出目标对象的蒙版图；将目标对象的蒙版图、待处理图像帧以及预设的背景图像进行融合，得到目标图像帧，并基于目标图像帧生成抠像处理后的视频流。由于本公开中的目标抠像网络模型是基于空洞空间金字塔池化网络构建的，从而使目标抠像网络模型具有更广阔的感受视野，提升了目标抠像网络模型的抠像精度。
[0030]根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
[0031]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
[0032]图1示出根据本公开一实施例的视频流抠像方法的流程图；
[0033]图2示出根据本公开一实施例的目标抠像网络模型的框架图；
[0034]图3示出根据本公开一实施例的视频流抠像装置的示意性框图。
具体实施方式
[0035]以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除
非特别指出，不必按比例绘制附图。
[0036]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0037]另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
[0038]<方法实施例>
[0039]图1示出根据本公开一实施例的视频流抠像方法的流程图。如图1所示，该方法包括步骤S1100
‑
S1300。
[0040]S1100，获取待处理视频流，并从待处理视频流中提取出待处理图像帧。
[0041]该待处理视频流可以通过摄像机或者包括摄像头的摄像装置获取。其中，包括摄像头的摄像装置可以是手机，可以是电脑，还可以是其它具备摄像头的智能终端，在此不作具体限定。
[0042]举例来说，在直播场景下，可以在主播面前设置摄像机，以通过该摄像机实时获取直播现场的视频流，这样在视频抠像系统与摄像机建立通信连接后，视频抠像系统便可以根据预设的视频流捕获程序由摄像机中捕获实时获取的视频流作为待处理视频流。
[0043]该待处理图像帧即当前要进行抠像处理的图像帧。具体地，在获取到待处理视频流时，将逐帧截取待处理视频流中的图像帧，对于当前截取出的图像帧即为待处理图像帧。
[0044]S1200，采用预先构建的目标抠像网络模型，由待处理图像帧中提取出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频流抠像方法，其特征在于，包括：获取待处理视频流，并从所述待处理视频流中提取出待处理图像帧；采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图；将所述蒙版图、所述待处理图像帧以及预设的背景图像进行融合，得到目标图像帧，并基于所述目标图像帧生成抠像处理后的视频流；其中，所述目标抠像网络模型基于空洞空间金字塔池化网络构建。2.根据权利要求1所述的方法，其特征在于，在采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图时，包括：由所述待处理图像帧中提取出不同尺度的第一特征图；对最小尺度的第一特征图，采用空洞空间金字塔池化网络进行上下文信息提取得到第二特征图；将所述第二特征图与不同尺度的所述第一特征图进行特征融合，并将特征融合结果作为所述目标对象的蒙版图。3.根据权利要求1所述的方法，其特征在于，所述空洞空间金字塔池化网络包括至少两种不同扩张率的空洞卷积核。4.根据权利要求3所述的方法，其特征在于，所述空洞空间金字塔池化网络包括四种不同扩张率的空洞卷积核。5.根据权利要求2所述的方法，其特征在于，所述目标抠像网络模型还包括轻量级骨干特征提取网络；在由所述待处理图像帧中提取出不同尺度的第一特征图时，基于所述轻量级骨干特征提取网络实现。6.根据权利要求2所述的方法，其特征在于，所述目标抠像网...

【专利技术属性】
技术研发人员：苏常保，乔越鑫，
申请(专利权)人：北京锦冠文化传媒有限公司，
类型：发明
国别省市：