视频抠像处理方法、处理装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种视频抠像处理方法，其包括：获取抠像视频，并从服务器上获取抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型；对抠像视频进行视频解码，以得到抠像视频的视频图片帧；根据抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型，确定视频图片帧的前景像素、背景像素以及前景像素透明度，以便对抠像视频进行视频抠像处理。本发明专利技术还提供一种视频抠像处理装置，本发明专利技术保证了终端进行视频抠像处理的准确度，简化了终端进行视频抠像处理的流程，且提高了终端进行视频抠像处理的效率。

Video matting processing method, processing device and computer readable storage medium

The invention provides a video matting processing method, which includes: obtaining a matting video and obtaining at least one foreground pixel transparency estimation model of the picture pixel color of the video picture frame of the matting video from the server; video decoding of the matting video to obtain the video picture frame of the matting video; and according to the to of the picture pixel color of the video picture frame of the matting video One less foreground pixel transparency estimation model is used to determine the foreground pixel, background pixel and foreground pixel transparency of the video picture frame, so as to perform video matting on the matting video. The invention also provides a video matting processing device, which ensures the accuracy of video matting processing by the terminal, simplifies the process of video matting processing by the terminal, and improves the efficiency of video matting processing by the terminal.

【技术实现步骤摘要】
视频抠像处理方法、处理装置及计算机可读存储介质
本专利技术涉及视频处理领域，特别是涉及一种视频抠像处理方法、处理装置及计算机可读存储介质。
技术介绍
视频抠像处理就是分离视频图像中前景和背景的操作，属于图像合成的逆过程。其中图像合成的公式为：Ii＝αiFi+(1-αi)Bi；其中Fi为前景像素点的颜色；αi为前景像素点的透明度，代表的前景占比；Bi为背景像素点的颜色；Ii为合成后的图像像素点的颜色。其中i为像素编号，αi大于0小于1。对于要进行抠像处理的视频(如绿幕视频)，合成后的图像像素点的颜色Ii以及背景像素点的颜色Bi为已知要素，前景像素点的透明度αi以及前景像素点的颜色Fi为未知要素，由于该图像合成公式具有两个未知量，不能直接求解，只能利用已知信息进行近似估计。现有的视频抠像处理方法大致可分为两类：一、通过比较已知的合成后的图像像素点的颜色Ii以及背景像素点的颜色Bi的差异性来估计前景像素点的透明度αi以及前景像素点的颜色Fi，如利用DifferenceKeyer、ChromaKeyer、LumaKeyer等算法进行视频抠像处理。此类视频抠像处理方法对为针对单个像素点进行，算法的额外输入较为简单，但是常常会出现前景部分与前景边缘部分的背景色抠像不完全的问题。二、人工辅助抠像，通过涂鸦(Strokes)或三分图(Trimap)的方式预先标记视频图像的背景、前景以及混合部分，再通过Closed-FormMatting、SharedMatting、KNNMatting、BayesianMatting等alpha-matting等算法估算透明通道，从而实现将背景去除，实现抠像处理。此类视频抠像处理方法需要人工预先标记，并且alpha-matting抠像算法比较复杂且耗时，不易实现视频的实时抠像。故现有的视频抠像处理方法的准确度较差或抠像处理的效率较低。
技术实现思路
本专利技术实施例提供一种抠像处理的准确度较高且抠像处理的效率也较高的视频抠像处理方法、处理装置及计算机可读存储介质；以解决现有的视频抠像处理方法以及处理装置中抠像处理的准确度较差或抠像处理的效率较低的技术问题。本专利技术实施例提供一种视频抠像处理方法，其包括：获取抠像视频，并从服务器上获取所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型；对所述抠像视频进行视频解码，以得到所述抠像视频的视频图片帧；以及根据所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型，确定所述视频图片帧的前景像素、背景像素以及前景像素透明度，以便对所述抠像视频进行视频抠像处理。本专利技术实施例还提供一种视频抠像处理装置，其包括：数据获取模块，用于获取抠像视频，并从服务器上获取所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型；视频图片帧获取模块，用于对所述抠像视频进行视频解码，以得到所述抠像视频的视频图片帧；以及视频抠像处理模块，用于根据所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型，确定所述视频图片帧的前景像素、背景像素以及前景像素透明度，以便对所述抠像视频进行视频抠像处理。在本专利技术所述的视频抠像处理装置中，所述抠像训练图片选择模块用于按设定时间间隔，从视频图片序列中选择多张视频图片帧作为抠像训练图片；或按视频图片帧的画面内容变化量，从视频图片序列中选择多张视频图片帧作为抠像训练图片。在本专利技术所述的视频抠像处理装置中，所述服务器还包括：图像像素颜色关系模型创建模块，用于使用所述视频图片帧的图片像素的红色颜色分量、所述视频图片帧的图片像素的绿色颜色分量、所述视频图片帧的图片像素的蓝色颜色分量、所述视频图片帧的图片像素的红绿颜色分量、所述视频图片帧的图片像素的红蓝颜色分量、所述视频图片帧的图片像素的蓝绿颜色分量、以及所述视频图片帧的图片像素与背景像素的颜色差异量中的多个构成所述图像像素颜色关系模型。在本专利技术所述的视频抠像处理装置中，所述机器训练模块包括：分割单元，用于将每个抠像训练图片划分为多个抠像训练图片块；以及机器训练单元，用于基于图像像素颜色关系模型，使用对应的抠像训练图片块的图片像素颜色的前景透明度值对所述图片像素颜色关系模型的参数进行机器训练，以得到所述抠像视频的抠像训练图片块对应的视频图片帧的图片像素颜色的前景像素透明度估算模型；所述视频抠像处理模块包括：抠像训练图片块像素确定单元，用于根据抠像训练图片块对应的视频图片帧的图片像素颜色的前景像素透明度估算模型，确定所述视频图片序列中的所有视频图片帧的抠像训练图片块对应区域的前景像素、背景像素以及前景像素透明度；以及视频抠像处理单元，用于根据所有抠像训练块对应区域的前景像素、背景像素以及前景像素透明度，对所述抠像视频进行视频抠像处理。在本专利技术所述的视频抠像处理装置中，所述视频图片序列获取模块包括：视频解码单元，用于对所述抠像视频进行视频解码，以得到所述抠像视频的视频画面帧；以及视频图片序列获取单元，用于对每个所述视频画面帧进行纹理绑定，以形成具有图片像素的视频图片帧，其中所述抠像视频的所有视频图片帧构成所述抠像视频的视频图片序列。在本专利技术所述的视频抠像处理装置中，所述视频抠像处理装置还包括：视频合成模块，用于将视频抠像处理后的抠像视频与设定背景视频进行合成操作，以生成目标视频。在本专利技术所述的视频抠像处理装置中，所述抠像训练图片选择模块用于按设定时间间隔，从每个视频图片组中选择多张视频图片帧作为抠像训练图片。在本专利技术所述的视频抠像处理装置中，所述机器训练模块包括：分割单元，用于将每个抠像训练图片划分为多个抠像训练图片块；以及机器训练单元，用于基于图像像素颜色关系模型，使用每个视频图片组对应的抠像训练图片块的图片像素颜色的前景透明度值对所述图片像素颜色关系模型的参数进行机器训练，以得到所述视频图片组的抠像训练图片块对应的视频图片帧的图片像素颜色的前景像素透明度估算模型；所述视频抠像处理模块包括：抠像训练图片块像素确定单元，用于使用抠像训练图片块对应的视频图片帧的图片像素颜色的前景像素透明度估算模型，确定所述视频图片组中的所有视频图片帧的抠像训练图片块对应区域的前景像素、背景像素以及前景像素透明度；视频抠像处理单元，用于根据所述视频图片组中的视频图片帧的所有抠像训练块对应区域的前景像素、背景像素以及前景像素透明度，对所述视频图片组中的视频图片帧的视频抠像处理；以及抠像视频合成单元，用于根据所有视频图片组的视频抠像处理结果，合成视频抠像处理后的抠像视频。本专利技术实施例还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述的视频抠像处理方法。相较于现有技术，本专利技术的视频抠像处理方法、处理装置及计算机可读存储介质通过在服务器上对抠像训练图片进行本文档来自技高网...

【技术保护点】
1.一种视频抠像处理方法，其特征在于，包括：/n获取抠像视频，并从服务器上获取所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型；/n对所述抠像视频进行视频解码，以得到所述抠像视频的视频图片帧；以及/n根据所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型，确定所述视频图片帧的前景像素、背景像素以及前景像素透明度，以便对所述抠像视频进行视频抠像处理；/n所述抠像视频的视频图片帧的图片像素颜色的前景像素透明度估算模型的生成过程包括：/n获取抠像视频的视频图片序列；/n从所述视频图片序列中选择多张视频图片帧作为抠像训练图片；/n基于视频抠像人工辅助算法，得到所述抠像训练图片的图片像素颜色的前景透明度值；以及/n基于图像像素颜色关系模型，使用所述抠像训练图片的图片像素颜色的前景透明度值对所述图片像素颜色关系模型的参数进行机器训练，以得到所述抠像视频的视频图片帧的图片像素颜色的前景像素透明度估算模型。/n

【技术特征摘要】
1.一种视频抠像处理方法，其特征在于，包括：
获取抠像视频，并从服务器上获取所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型；
对所述抠像视频进行视频解码，以得到所述抠像视频的视频图片帧；以及
根据所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型，确定所述视频图片帧的前景像素、背景像素以及前景像素透明度，以便对所述抠像视频进行视频抠像处理；
所述抠像视频的视频图片帧的图片像素颜色的前景像素透明度估算模型的生成过程包括：
获取抠像视频的视频图片序列；
从所述视频图片序列中选择多张视频图片帧作为抠像训练图片；
基于视频抠像人工辅助算法，得到所述抠像训练图片的图片像素颜色的前景透明度值；以及
基于图像像素颜色关系模型，使用所述抠像训练图片的图片像素颜色的前景透明度值对所述图片像素颜色关系模型的参数进行机器训练，以得到所述抠像视频的视频图片帧的图片像素颜色的前景像素透明度估算模型。


2.根据权利要求1所述的视频抠像处理方法，其特征在于，所述从视频图片序列中选择多张视频图片帧作为抠像训练图片的步骤包括：
按设定时间间隔，从视频图片序列中选择多张视频图片帧作为抠像训练图片；或按视频图片帧的画面内容变化量，从视频图片序列中选择多张视频图片帧作为抠像训练图片。


3.根据权利要求1所述的视频抠像处理方法，其特征在于，所述视频抠像处理方法还包括步骤：
使用所述视频图片帧的图片像素的红色颜色分量、所述视频图片帧的图片像素的绿色颜色分量、所述视频图片帧的图片像素的蓝色颜色分量、所述视频图片帧的图片像素的红绿颜色分量、所述视频图片帧的图片像素的红蓝颜色分量、所述视频图片帧的图片像素的蓝绿颜色分量、以及所述视频图片帧的图片像素与背景像素的颜色差异量中的多个构成所述图像像素颜色关系模型。


4.根据权利要求1所述的视频抠像处理方法，其特征在于，所述基于图像像素颜色关系模型，使用所述抠像训练图片的图片像素颜色的前景透明度值对所述图片像素颜色关系模型的参数进行机器训练，以得到所述抠像视频的视频图片帧的图片像素颜色的前景像素透明度估算模型的步骤包括：
将每个抠像训练图片划分为多个抠像训练图片块；以及
基于图像像素颜色关系模型，使用对应的抠像训练图片块的图片像素颜色的前景透明度值对所述图片像素颜色关系模型的参数进行机器训练，以得到所述抠像视频的抠像训练图片块对应的视频图片帧的图片像素颜色的前景像素透明度估算模型；
所述根据所述抠像视频的视频图片帧的图片像素颜色的前景像素透明度估算模型，确定所述视频图片帧的前景像素、背景像素以及前景像素透明度，以便对所述抠像视频进行视频抠像处理的步骤包括：
根据抠像训练图片块对应的视频图片帧的图片像素颜色的前景像素透明度估算模型，确定所述视频图片序列中的所有视频图片帧的抠像训练图片块对应区域的前景像素、背景像素以及前景像素透明度；以及
根据所有抠像训练块对应区域的前景像素、背景像素以及前景像素透明度，对所述抠像视频进行视频抠像处理。


5.根据权利要求1所述的视频抠像处理方法，其特征在于，所述获取抠像视频的视频图片序列的步骤包括：
对所述抠像视频进行视频解码，以得到所述抠像视频的视频画面帧；以及
对每个所述视频画面帧进行纹理绑定，以形成具有图片像素的视频图片帧，其中所述抠像视频的所有视频图片帧构成所述抠像视频的视频图片序列。


6.根据权利要求1所述的视频抠像处理方法，其特征在于，所述视频抠像处理方法还包括：
将视频抠像处理后的抠像视频与设定背景视频进行合成操作，以生成目标视频。


7.根据权利要求1所述的视频抠像处理方法，其特征在于，所述前景像素透明度估算模型为多元线性表达式或多元非线性表达式。


8.一种视频抠像处理方法，其特征在于，包括：
获取抠像视频，并从服务器上获取所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型；
对所述抠像视频进行视频解码，以得到所述抠像视频的视频图片帧；以及
根据所述抠像视频的视频图片帧的图片像素颜色的至少一个前景像素透明度估算模型，确定所述视频图片帧的前景像素、背景像素以及前景像素透明度，以便对所述抠像视频进行视频抠像处理；
所述抠像视频的视频图片帧的图片像素颜色的前景像素透明度估算模型的生成过程包括：
获取抠像视频的视频图像序列，并将所述视频图像序列中的视频图片帧按画面内容变化量分成多个视频图片组；
从每个视频图片组中选择多张视频图片帧作为所...

【专利技术属性】
技术研发人员：陈贻东，汪大伟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44