智能化视频人物替换方法、系统技术方案

本发明专利技术提供一种智能化视频人物替换方法、系统，首先通过预设的统一算法对视频中的目标人物进行自动分割以剔除目标人物形成损失区域，通过基于深度学习所获取的视频修复算法利用视频中所述损失区域的相邻帧和远帧将损失信息补充完整以形成视频背景；而后将人像与视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；再通过Rain

【技术实现步骤摘要】
智能化视频人物替换方法、系统


[0001]本专利技术涉及媒体后期处理领域，更为具体地，涉及一种智能化视频人物替换方法、系统。

技术介绍

[0002]近年来短视频的出现带动了视频制作行业为追求更好的用户观感和体验的发展。随着人工智能的发展，目前市场上出现了进行自动抠像等辅助视频制作的软件及系统，但是效果往往没有人工制作得到的精细，而且在存在着无法将视频中的指定人物抠除、无法将背景缺失信息进行填充、无法实现一整套的人物替换流程等问题。这类软件只能进行视频人物替换的部分操作且很难实现理想的效果，故在对视频中的人物进行替换操作的过程中为了得到优秀的效果仍需要使用图像处理软件以及视频处理软件对视频的每一帧进行人工手动抠像、背景视频补全以及光照色调统一等操作，如此操作耗费大量的人工与时间成本。
[0003]现有技术为达到满意的效果，是用传统的人工手动对图像和视频进行处理，缺乏智能性，人工进行视频中的人物替换，耗时耗力；目前市面上有的视频抠像以及合成技术无法实现较好效果的融合，且抠像技术仅仅对人物进行了抠除后直接将其他人物贴置在有信息缺失的背景上，由于没有做视频补全，在人物进行运动时，会将背景中缺失的部分暴露，而达不到人物替换的真实感。在人物与背景合成的技术中，替换人物与原背景具有较大色差，不具备较强的真实感，无法做到人物与原视频的融合，效果不好，会有明显拼接痕迹；或者只实现了视频中人物替换的其中一个模块，如摄像头采集，合成等，没有进行集成。
[0004]如“一种视频中人物的替换方法”，该方法可以播放替换后的人物与原视频的融合，依次播放每一帧。但该方案有以下问题没有解决：一方面，该方法是非智能化人物替换方法，操作会相对复杂；另一方面，该方法无法做到人物较好的融合效果，影响合成画面的真实感，缺乏真实性。
[0005]因此，亟需一种输入待处理的视频即可自动分割，自动填补损失信息，自动进行视频合成，且能够将合成后的视频光照调整到一致，使前景人物视频完全融入到背景视频中的智能化视频人物替换方法、系统。

技术实现思路

[0006]鉴于上述问题，本专利技术的目的是提供一种智能化视频人物替换方法、系统，以解决现有技术一方面，是非智能化人物替换方法，操作会相对复杂；另一方面，无法做到人物较好的融合效果，影响合成画面的真实感，缺乏真实性中的问题。
[0007]本专利技术提供的一种智能化视频人物替换方法，包括：
[0008]通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；
[0009]获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法
利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；
[0010]调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；
[0011]通过Rain
‑
Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频。
[0012]优选地，所述统一算法在所述视觉目标跟踪的基础上增加了透明通道蒙版分支；其中，
[0013]所述统一算法包括两层神经网络h
φ
和学习参数φ以预测透明通道蒙版。
[0014]优选地，获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景的过程，包括：
[0015]通过深度学习算法构建将时间维度与空间维度相结合的视频修复算法；
[0016]将所述视频中所述损失区域的相邻帧和远帧作为所述视频修复算法的输入；
[0017]使所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度，以获取与所述损失区域最相近的部分，并将所述与所述损失区域最相近的部分补充在所述损失区域中以将所述损失信息补充完整，形成视频背景。
[0018]优选地，所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度过程，包括：
[0019]将所述相邻帧和所述远帧的每一帧的特征被映射为query特征和memory特征，并通过对所述query特征和所述memory特征进行检索；其中，f
i
∈R
h
×
w
×
c
，其中，
[0020]所述f
i
表示帧级编码器需要获取的特征，R表示所有的特征；h、w分别为所述相邻帧或所述远帧的图像的高和宽，c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数；
[0021]从所述query特征和所述memory特征中提取形状为r1*r2*c的空间块作为检测块，并利用矩阵乘法计算所述检测块之间的相似度；其中，所述r1与r2为所述检测块的长和宽；所述c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数。
[0022]优选地，调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版的过程，包括：
[0023]通过UE4平台调用采集卡，以将绿幕前的人像抠出作为前景；
[0024]同时将所述视频背景和黑幕作为视频合成的输入；使所述人像作为前景与所述视频背景进行合成以生成交互视频；使所述人像的处理图像作为纯白前景与所述黑幕进行合成以生成黑幕白前景，并将所述黑幕白前景导出至本地作为透明通道蒙版。
[0025]优选地，获取所述人像的处理图像的过程，包括：
[0026]将所述人像的亮度值调至最大以生成纯白前景。
[0027]优选地，通过Rain
‑
Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频的过程，包括：
[0028]对所述透明通道蒙版进行预处理以形成标准通道蒙版；
[0029]通过所述Rain
‑
Net算法使所述标准通道蒙版对所述交互视频进行调和以生成更新视频，完成视频的人物替换。
[0030]优选地，在Rain
‑
Net算法中，关于所述人像的前景视频由I
f
表示，背景视频由I
b
表示，透明通道蒙版由M表示；所合成的交互视频的图像由表示；
[0031]对所述交互视频进行调和的调和模型为进行自我学习的模型，定义为G，经过所述调和模型调和后所生成的图像为
[0032]另一方面，本专利技术还提供一种智能化视频人物替换系统，，基于如前所述的智能化视频人物替换方法进行视频人物替换处理，包括：
[0033]目标分割单元，用于通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能化视频人物替换方法，其特征在于，包括：通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；通过Rain
‑
Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频。2.如权利要求1所述的智能化视频人物替换方法，其特征在于，所述统一算法在所述视觉目标跟踪的基础上增加了透明通道蒙版分支；其中，所述统一算法包括两层神经网络h
φ
和学习参数φ以预测透明通道蒙版。3.如权利要求1所述的智能化视频人物替换方法，其特征在于，获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景的过程，包括：通过深度学习算法构建将时间维度与空间维度相结合的视频修复算法；将所述视频中所述损失区域的相邻帧和远帧作为所述视频修复算法的输入；使所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度，以获取与所述损失区域最相近的部分，并将所述与所述损失区域最相近的部分补充在所述损失区域中以将所述损失信息补充完整，形成视频背景。4.如权利要求3所述的智能化视频人物替换方法，其特征在于，所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度过程，包括：将所述相邻帧和所述远帧的每一帧的特征被映射为query特征和memory特征，并通过对所述query特征和所述memory特征进行检索；其中，f
i
∈R
h
×
w
×
c
，其中，所述f
i
表示帧级编码器需要获取的特征，R表示所有的特征；h、w分别为所述相邻帧或所述远帧的图像的高和宽，c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数；从所述query特征和所述memory特征中提取形状为r1*r2*c的空间块作为检测块，并利用矩阵乘法计算所述检测块之间的相似度；其中，所述r1与r2为所述检测块的长和宽；所述c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数。5.如权利要求1所述的智能化视频人物替换方法，其特征在于，调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至...

【专利技术属性】
技术研发人员：叶龙，马莹，王泓霏，洪昊喆，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：