一种基于BackgroundMatting改进的戏曲视频融合的方法技术

本发明专利技术公开了一种基于Background Matting改进的戏曲视频融合的方法，首先对输入的原戏曲视频和新的背景视频分别进行帧提取，然后对二者的视频帧重新设置尺寸；其次，使用AKAZE特征提取与匹配的方法进行背景与原图的对齐处理，实验结果表明，这样极大的提高了匹配速度，同时，修改Background Matting中的图像转为灰度的方式，使其能够对绿幕背景下的视频进行分割处理，以提高视频分割的准确度；最后，将各视频帧中提取出的人物，融合到新背景视频帧中对应的位置，将融合后的视频帧按照原分辨率合成为一个新的戏曲视频，有效的改善了融合后人物边缘粗糙的问题，极大提高了戏曲视频融合的速度。视频融合的速度。视频融合的速度。

【技术实现步骤摘要】
Switching Block处理输出一个Feature Map，编码器Context Switching Block由Encoder， Selector以及Combinator组成，Selector和Combinator都由1x1 Conv+BN+Relu组成，再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图；
[0015](F，α)＝G(X，θ)
ꢀꢀ
(1)
[0016]其中，F代表的是前景图，即去除背景后的图片，α代表的是Alpha matta图片， G代表的是生成模型，X代表的是步骤5中的四个输入图像，θ代表的是权重参数；
[0017]步骤7：将经过步骤6处理过后的戏曲视频(a)的视频帧与原始的背景视频(c) 的视频帧进行融合，得到融合后的视频帧，即将提取出的前景图与新的背景图相融合；
[0018]步骤8：以步骤7中的视频帧为元素，设置合成参数，得到替换了背景的戏曲视频。
[0019]进一步，所述步骤3中将步骤2中提取出的视频帧进行归一化处理，将每一帧的像素值设置为1920
×
1080。
[0020]进一步，所述步骤4中将从戏曲视频(a)中提取出的视频帧图像转为灰度图像，在颜色空间转换的过程中对转换值放大指定的倍数，以实现对背景为绿幕的图片前景提取。
[0021]进一步，所述步骤7中戏曲视频(a)的视频帧与原始的背景视频(c)的视频帧进行融合时所用的损失函数为：
[0022][0023]其中，θ
Adobe
代表的是Adobe Matting数据集中的权重参数，F
*
代表的是AdobeMatting数据集中的前景图，α
*
代表的是alpha掩码，α代表的是Alpha matta图，I代表的是输入的视频帧，B代表的是高斯模糊后需要更换的背景视频帧。
[0024]进一步，所述步骤8中设置合成视频的分辨率与步骤3中每一帧的像素值相同。
[0025]本专利技术与现有技术相比，具有如下技术效果：
[0026]本专利技术基于Background Matting改进的戏曲视频融合的方法，首先对输入的原戏曲视频和新的背景视频分别进行帧提取，然后对二者的视频帧重新设置尺寸；其次，使用AKAZE特征提取与匹配的方法进行背景与原图的对齐处理，实验结果表明，这样极大的提高了匹配速度，同时，修改Background Matting中的图像转为灰度的方式，使其能够对绿幕背景下的视频进行分割处理，以提高视频分割的准确度；最后，将各视频帧中提取出的人物，融合到新背景视频帧中对应的位置，将融合后的视频帧按照原分辨率合成为一个新的戏曲视频，有效的改善了融合后人物边缘粗糙的问题，极大提高了戏曲视频融合的速度。
[0027]学习到戏曲视频中更精细的特征并且减少运行时间，提高提取前景图片的速度，提升算法运行的速度，简化戏曲视频融合的步骤，使戏曲视频的融合更快、更清晰、更和谐。
[0028]本专利技术使用的是只需在日常环境中使用手持摄像机拍摄照片或视频来创建三分图的方法，素材只需要拍摄一个有人物的视频，一张不包含人物的背景图片，比创建三分图节省时间，对素材要求更低，在日常环境中拍摄照片或视频，就可以轻松创建一个人的像素颜色和阿尔法遮罩。现有技术中提取高质量遮罩的最佳方法要么需要专门的绿幕工作室，要么需要手动创建三分图(前景/背景/未知分割)，通常需要对细节处如头发丝等进行细致处理，素材准备过程耗时、费力。本专利技术在前者的基础上进行改进，可实现无需特定环境、设备，便可快速高效进行前景的提取和视频的融合，处理过程简单、快捷，简化了戏曲视频融合的步骤。
附图说明
[0029]图1是本专利技术的前景生成结构图；
[0030]图2是本专利技术的训练结构图；
[0031]图3是本专利技术的视频融合结构图；
[0032]图4是本专利技术的输入戏曲视频、背景图、需替换背景视频图；
[0033]图5是通过改进的Background Matting方法提取的视频帧图；
[0034]图6是通过改进的Background Matting方法提取出的前景图；
[0035]图7是通过改进的Background Matting方法提取出的mask图；
[0036]图8是通过改进的Background Matting方法融合的视频帧图；
[0037]图9是通过改进的Background Matting方法融合的视频图。
具体实施方式
[0038]以下结合实施例对本专利技术的具体内容做进一步详细解释说明。
[0039]如图1
‑
图3所示，本专利技术提供一种基于Background Matting改进的戏曲视频融合的方法，具体包括以下步骤：
[0040]步骤1：输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)、需要更换的背景视频(c)，见图4所示；
[0041]步骤2：对步骤1中输入的戏曲视频(a)和背景视频(c)进行帧提取，得到如图5所示的视频帧图；
[0042]步骤3：将步骤2中提取出的视频帧进行归一化处理，将每一帧的像素值设置为
[0043]步骤4：利用单应性将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理，同时，将从戏曲视频(a)中提取出的视频帧图像转为灰度图像，使本方法能够对绿幕背景下的视频进行分割处理；
[0044]步骤5：对戏曲视频(a)提取出的帧进行分割处理以及生成前后帧灰度图处理；
[0045]将从戏曲视频(a)中提取出的某一帧作为输入原图Image(I)、没有人物的背景图片(b)作为输入背景Background(B
’
)、对此帧进行的分割结果作为输入分割图 Soft Segmentation(S)、将此帧的前后帧灰度图作为输入运动轨迹Motion Cues(M)；
[0046]步骤6：将步骤5中得到的四个输入图像X≡{I，B
’
，S，M}经过编码器Context Switching Block处理输出一个Feature Map。编码器Context Switching Block由Encoder， Selector以及Combinator组成，Selector和Combinator都由1x1 Conv+BN+Relu组成。再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图，如图6
‑ꢀ
图7所示；
[0047](F，α)＝G(X，θ)
ꢀꢀ
(1)
[0048]其中，F代表的是前景图，即去除背景后的图片，α代表的是Alpha matta图片， G代表的是生成模型，X代表的是步骤5中的四个输入图像，θ代表的是权重参数；
[0049]步骤7：将经过步骤6处理过后的戏曲视频(a)的视频帧与原始的背景视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Background Matting改进的戏曲视频融合的方法，其特征在于包括以下步骤：步骤1：输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)和需要更换的背景视频(c)；步骤2：对步骤1中输入的戏曲视频(a)和背景视频(c)进行帧提取；步骤3：将步骤2中提取出的视频帧进行归一化处理；步骤4：利用单应性将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理，同时，将从戏曲视频(a)中提取出的视频帧图像转为灰度图像，通过该处理实现能够对绿幕背景下的视频进行分割处理；步骤5：对戏曲视频(a)提取出的帧进行分割处理以及生成前后帧灰度图；将从戏曲视频(a)中提取出的某一帧作为输入原图Image(I)、没有人物的背景图片(b)作为输入背景Background(B
’
)、对此帧进行的分割结果作为输入分割图Soft Segmentation(S)、将此帧的前后帧灰度图作为输入运动轨迹Motion Cues(M)；步骤6：将步骤5中得到的四个输入图像X＝{I，B
’
，S，M}经过编码器Context Switching Block处理输出一个Feature Map，编码器Context Switching Block由Encoder，Selector以及Combinator组成，Selector和Combinator都由1x1 Conv+BN+Relu组成，再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图；(F，α)＝G(X，θ)
ꢀꢀꢀꢀꢀ
(1)其中，F代表的是前景图，即去除背景后的图片，α代表的是Alpha ma...

【专利技术属性】
技术研发人员：周明全，白涛，冯龙，耿国华，李蕊，李启航，杨雪，刘阳洋，周蓬勃，
申请(专利权)人：西北大学，
类型：发明
国别省市：