视频人像抠图方法、系统和介质技术方案

本发明专利技术公开了视频人像抠图方法、系统和介质，其中视频人像抠图方法包括：获取预训练模型，获取第一视频；对第一视频的每帧图片进行裁剪，对每帧图片的像素在空域进行下采样，以生成第二视频；对第二视频在时域进行跳跃采帧获得采样帧；将采样帧输入预训练模型以生成alpha遮罩，将alpha遮罩作为采样帧的相邻帧的alpha遮罩；根据alpha遮罩和alpha遮罩对第二视频的所有图片帧进行对齐裁剪，以获得去除背景后的第一视频。能够大幅提升视频抠图的速度和效率，而且还能有效保持人像的边缘细节，具有突出的特点，能够满足视频直播等场景的实时抠图需求，提升视频传输的速度，能够给用户带来较好的观看体验。

【技术实现步骤摘要】
视频人像抠图方法、系统和介质
本专利技术涉及计算机视觉及图像处理
，特别涉及一种视频人像抠图方法、系统和介质。
技术介绍
人像抠图是从给定的图像或视频中提取人物，有着各种各样的应用，如短视频背景替换、直播背景更换、电影场景背景后期设计，针对视频的抠图方法通常有基于绿色荧幕来实时获得高质量的人像提取，但是绿幕抠图的场景单一，对背景要求较高，抠图处理的速度慢，且图像处理的成本较高。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种视频人像抠图方法，能够实现人像高质量扣取并且拥有较快的人像提取处理速度，降低图像处理的成本，能够实时处理人像提取输出。本专利技术还提出一种具有上述视频人像抠图方法的视频人像抠图系统。本专利技术还提出一种计算机可读存储介质。一方面，本实施例提供了一种视频人像抠图方法，包括：获取预训练模型，获取第一视频；对所述第一视频的每帧图片进行裁剪，对每帧所述图片的像素在空域进行下采样，以生成第二视频；对所述第二视频在时域进行跳跃采帧获得采样帧；将所述采样帧输入所述预训练模型以生成alpha遮罩，将所述alpha遮罩作为所述采样帧的相邻帧的alpha遮罩；根据所述采样帧的alpha遮罩和所述相邻帧的alpha遮罩对所述第二视频的所有图片帧进行对齐裁剪，以获得去除背景后的所述第一视频。根据本专利技术实施例的视频人像抠图方法，至少具有如下有益效果：首先，获取预训练模型和第一视频，第一视频为包含人像数据的待处理视频，将第一视频的每一帧图片进行处理，包括对每一帧图片进行裁剪处理，可以是粗略地获取第一视频内的人像数据，再对每一帧图片在空间域进行像素下采样，以生成第二视频；对第二视频的图片帧在时域上进行跳跃采帧，可以是只采样奇数帧输入预训练模型以得到奇数帧的alpha遮罩，再将alpha遮罩作为奇数帧的相邻帧的alpha遮罩，奇数帧的相邻帧即为偶数帧，结合采样帧的alpha遮罩和相邻帧的alpha遮罩即可得到第二视频的所有帧的alpha遮罩，基于时域对第二视频进行采样还可以生成丢失的帧的alpha遮罩，根据采样帧的alpha遮罩和相邻帧的alpha遮罩对第二视频的所有图片帧进行对齐裁剪，以获得去除背景后的第一视频。本实施例的视频人像抠图方法能够实现人像高质量扣取并且拥有较快的人像提取处理速度，降低图像处理的成本，能够实时处理人像提取输出，满足基本的实时直播应用场景。根据本专利技术的一些实施例，所述获取预训练模型，包括步骤：获取包括人像数据的第一图像和与所述第一图像对应的图像遮罩；对所述第一图像进行下采样，根据所述下采样的结果和所述人像数据获取人像遮罩；获取所述人像数据的边缘细节，将所述边缘细节与所述人像遮罩合成以得到第二图像；根据所述第二图像和所述图像遮罩进行学习以获得预训练模型。先获取第一图像和图像遮罩，再对第一图像进行下采样处理，降低第一图像的像素值，采用语义分割获取粗略的人像遮罩，语义分割是是计算机视觉中的基础任务，可以帮助我们绘制某些确定实体的边框，如视频中的人像，以获得粗略的人像遮罩，再获取第一图像的边缘细节，边缘细节可以包括有人体的毛发细节和服饰细节，将人像遮罩和边缘细节合成以得到第二图像，以图像遮罩作为限制进行监督学习，生成预训练模型，预训练模型用于处理第二视频获得alpha遮罩。由于直播过程通常只是人像会有一定的动作，背景变化却不大，使用本实施例的视频人像抠图方法能够有效提升数据传输效率，节省带宽，给用户带来更好的观看体验。根据本专利技术的一些实施例，所述对每帧所述图片的像素在空域进行下采样，包括步骤：对所述图片帧在空域进行一比四下采样。对第一视频的图片帧进行一比四的下采样能够有效提升采样得到的信号的信噪比，提升信号质量。根据本专利技术的一些实施例，所述对所述第二视频在时域进行跳跃采帧获得采样帧，包括步骤：对所述第二视频的奇数帧进行采样，获得采样帧。在时域对第二视频的奇数帧进行采样，获得采样帧，预测跳跃采帧操作中缺失的帧；跳跃采样也可以只对第二视频的偶数帧进行采样，预测跳跃采帧操作中缺失的帧，能够有效减小数据计算量，提升数据处理效率。根据本专利技术的一些实施例，所述对所述第一图像进行下采样，根据所述下采样的结果和所述人像数据获取人像遮罩，包括步骤：对所述第一图像进行下采样，降低所述第一图像的像素值，采用语义分割方式以获得所述人像遮罩。语义分割是机器自动分割并识别出图像中的内容，比如给出一个人骑摩托车的照片，机器判断后应当能够生成右侧图，红色标注为人，绿色是车。降低像素值，使用语义分割的方式智能处理带有人像数据的第一图像，以获得粗略的人像遮罩。根据本专利技术的一些实施例，所述边缘细节包括所述人像数据的毛发数据和服饰数据。粗略的人像遮罩并不足以达到视频抠图质量的需求，再获取人像数据的边缘细节，包括但是不限于是人像数据的边缘毛发、服装和首饰，结合粗略的人像遮罩和边缘细节，能够获得较好的第二图像，实现较为准确的人像抠图。根据本专利技术的一些实施例，在所述将所述alpha遮罩作为所述采样帧的相邻帧的alpha遮罩之后，包括步骤：结合所述采样帧的alpha遮罩和所述相邻帧的alpha遮罩获得所述第二视频的alpha遮罩合集。采样帧的alpha遮罩和相邻帧的alpha遮罩包括了第二视频的所有帧的alpha遮罩，结合采样帧的alpha遮罩和相邻帧的alpha遮罩生成alpha遮罩合集，alpha遮罩合集即包括了第二视频的所有帧的alpha遮罩，根据alpha遮罩合集处理第二视频，能够实现对第二视频所有图片帧的人像抠图处理。第二方面，本实施例提供了一种视频人像抠图系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面所述的视频人像抠图方法。根据本专利技术实施例的视频人像抠图系统，至少具有如下有益效果：本实施例的视频人像抠图系统应用了如第一方面所述的视频人像抠图方法，在不损失抠图质量，保留人像毛发等细节，有效提升视频处理速度，能够实时处理人像提取输出。第三方面，本实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的视频人像抠图方法。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中摘要附图要与说明书附图的其中一幅完全一致：图1是本专利技术一个实施例提供的视频人像抠图方法的流程图；图2是本专利技术另一个实施例提供的视频人像抠图方法的流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施本文档来自技高网...

【技术保护点】
1.一种视频人像抠图方法，其特征在于，包括：/n获取预训练模型，获取第一视频；/n对所述第一视频的每帧图片进行裁剪，对每帧所述图片的像素在空域进行下采样，以生成第二视频；/n对所述第二视频在时域进行跳跃采帧获得采样帧；/n将所述采样帧输入所述预训练模型以生成alpha遮罩，将所述alpha遮罩作为所述采样帧的相邻帧的alpha遮罩；/n根据所述采样帧的alpha遮罩和所述相邻帧的alpha遮罩对所述第二视频的所有图片帧进行对齐裁剪，以获得去除背景后的所述第一视频。/n

【技术特征摘要】
1.一种视频人像抠图方法，其特征在于，包括：
获取预训练模型，获取第一视频；
对所述第一视频的每帧图片进行裁剪，对每帧所述图片的像素在空域进行下采样，以生成第二视频；
对所述第二视频在时域进行跳跃采帧获得采样帧；
将所述采样帧输入所述预训练模型以生成alpha遮罩，将所述alpha遮罩作为所述采样帧的相邻帧的alpha遮罩；
根据所述采样帧的alpha遮罩和所述相邻帧的alpha遮罩对所述第二视频的所有图片帧进行对齐裁剪，以获得去除背景后的所述第一视频。


2.根据权利要求1所述的一种视频人像抠图方法，其特征在于，所述获取预训练模型，包括步骤：
获取包括人像数据的第一图像和与所述第一图像对应的图像遮罩；
对所述第一图像进行下采样，根据所述下采样的结果和所述人像数据获取人像遮罩；
获取所述人像数据的边缘细节，将所述边缘细节与所述人像遮罩合成以得到第二图像；
根据所述第二图像和所述图像遮罩进行学习以获得预训练模型。


3.根据权利要求1所述的一种视频人像抠图方法，其特征在于，所述对每帧所述图片的像素在空域进行下采样，包括步骤：
对所述图片帧在空域进行一比四下采样。


4.根据权利要求1所述的一种视频人像抠图方法，其特征在于，所述对所述第...

【专利技术属性】
技术研发人员：张昊，刘增辉，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43