基于背景幕抠图和融合的方法和系统技术方案

技术编号:24356917 阅读:28 留言:0更新日期:2020-06-03 02:45
本发明专利技术提供了一种基于背景幕抠图和融合的方法和系统,包括:背景颜色获取步骤:获取图像或视频中背景的颜色;初始alpha值确定步骤:通过计算像素颜色和背景色的RGB空间的距离和夹角,确定初始像素的初始alpha值,得到alpha图像;二值化步骤:根据设定的alpha值的阈值,对alpha图像进行二值化处理;优化步骤:利用形态学优化二值化处理后的alpha图像,得到三分图;共享样本点步骤:对得到的三分图执行共享样本点算法,得到最终的前景色和alpha值。

Method and system based on background matting and fusion

【技术实现步骤摘要】
基于背景幕抠图和融合的方法和系统
本专利技术涉及图像处理
,具体地,涉及基于背景幕抠图和融合的方法和系统。
技术介绍
抠图是指从图像或视频序列中精确地提取出前景对象的一种技术。抠图技术作为视觉特效领域的一种关键技术,被广泛地应用于图像编辑和电影制作等领域。但由于抠图问题的欠约束性,求解该问题时需要增加额外的约束条件,因此在影视制作中,通常采用蓝幕或者绿幕作为拍摄背景,以此来降低该问题的求解难度。专利文献CN107180238A公开了一种智能终端的图像预览装置及方法,启动智能终端拍摄模块,捕获包含目标人物的目标图像,在目标图像中识别目标人物的人脸,获取目标人物的位置信息,按照人体常规比例或者预设的人物身材参数,根据位置信息锁定人物轮廓,由一绿幕替换人物轮廓外的背景,提取人物轮廓内的人物图像,并发送至包括在智能终端内或与智能终端连接的全息投影模块,全息投影模块在目标人物的周边投射出所述目标人物的立体图像。然而,传统的抠图技术普遍还存在抠图不准确,对于难以区分背景和前景的区域(识别过程中会产生背景区域、前景区域以及无法识别的未知区域)容易遗失前景或者混入背景,且抠图的效率较差。
技术实现思路
针对现有技术中的缺陷,本专利技术的目的是提供一种基于背景幕抠图和融合的方法和系统。根据本专利技术提供的一种基于背景幕抠图和融合的方法,包括:背景颜色获取步骤:获取图像或视频中背景的颜色;初始alpha值确定步骤:通过计算像素颜色和背景色的RGB空间的距离和夹角,确定初始像素的初始alpha值,得到alpha图像;二值化步骤:根据设定的alpha值的阈值,对alpha图像进行二值化处理;优化步骤:利用形态学优化二值化处理后的alpha图像,得到三分图;共享样本点步骤:对得到的三分图执行共享样本点算法,得到最终的前景色和alpha值。优选地,所述背景颜色获取步骤包括两种:A、分别统计图像或视频中RGB三个通道的直方图,选取RGB概率最大的为背景颜色值;B、直接获取用户所选择的背景颜色值。优选地,所述初始alpha值确定步骤包括:第i个像素的像素色Ci与背景色Cb的距离di:第i个像素的像素色Ci与背景色Cb的夹角cosθi:第i个像素的初始alpha值αi:其中,优选地,所述优化步骤包括:A、分别对前景区域、背景区域,执行一次开运算,连接局部不连续的区域;B、分别对前景区域、背景区域,执行尺寸为扩展区域rc的腐蚀操作。优选地,所述共享样本点步骤包括:对于每一个未知区域中的点p:A、从p点出发的4个等角距射线方向,分别找到距离p点最近的前景点和背景点,并将这些前景点组成集合背景点组成集合对计算p到s的能量函数并得到p属于前景区域Tf的概率其中,为两点的颜色差异,为两点的距离,Ep(b)为点b到点p的能量函数,Ep(f)为点p到点f的能量函数;B、对任意对-计算颜色失真为使最小的取值,为点fip的颜色,为点的颜色;-计算PFp和不一致性参数-综合颜色失真、不一致性参数和位置关系:为目标函数,Np为颜色失真度函数,Ap为不一致性参数,Dp为fip、和p点的直线距离;C、选择使最小的颜色对分别作为前景色和背景色;D、对p的10x10领域内的所有q∈Tunknown的颜色对Tunknown为未知区域,计算相对p点的颜色失真度,选择失真度最小的颜色对作为p的新的颜色对;E、将所有颜色对和相应的透明度做高斯平滑,输出最终的前景色和alpha值。根据本专利技术提供的一种基于背景幕抠图和融合的系统,包括:背景颜色获取模块:获取图像或视频中背景的颜色;初始alpha值确定模块:通过计算像素颜色和背景色的RGB空间的距离和夹角,确定初始像素的初始alpha值,得到alpha图像;二值化模块:根据设定的alpha值的阈值,对alpha图像进行二值化处理;优化模块:利用形态学优化二值化处理后的alpha图像,得到三分图;共享样本点模块:对得到的三分图执行共享样本点算法,得到最终的前景色和alpha值。优选地,所述背景颜色获取模块包括两种:A、分别统计图像或视频中RGB三个通道的直方图,选取RGB概率最大的为背景颜色值;B、直接获取用户所选择的背景颜色值。优选地,所述初始alpha值确定模块包括:第i个像素的像素色Ci与背景色Cb的距离di:第i个像素的像素色Ci与背景色Cb的夹角cosθi:第i个像素的初始alpha值αi:其中,优选地,所述优化模块包括:A、分别对前景区域、背景区域,执行一次开运算,连接局部不连续的区域;B、分别对前景区域、背景区域,执行尺寸为扩展区域rc的腐蚀操作。优选地,所述共享样本点模块包括:对于每一个未知区域中的点p:A、从p点出发的4个等角距射线方向,分别找到距离p点最近的前景点和背景点,并将这些前景点组成集合背景点组成集合对计算p到s的能量函数并得到p属于前景区域Tf的概率其中,为两点的颜色差异,为两点的距离,Ep(b)为点b到点p的能量函数,Ep(f)为点p到点f的能量函数;B、对任意对-计算颜色失真为使最小的取值,为点fip的颜色,为点的颜色;-计算PFp和不一致性参数-综合颜色失真、不一致性参数和位置关系:为目标函数,Np为颜色失真度函数,Ap为不一致性参数,Dp为fip、和p点的直线距离;C、选择使最小的颜色对分别作为前景色和背景色;D、对p的10x10领域内的所有q∈Tunknown的颜色对Tunknown为未知区域,计算相对p点的颜色失真度,选择失真度最小的颜色对作为p的新的颜色对;E、将所有颜色对和相应的透明度做高斯平滑,输出最终的前景色和alpha值。与现有技术相比,本专利技术具有如下的有益效果:1、通过“色差+二值化+形态学膨胀、腐蚀”,提取出准确的三分图(trimap),达到自动化抠图2、通过采用共享样本点(sharedmatting)算法对未知区域的像素基于周边像素的关联性,保证边缘精细结构(比如头发)得以保留,同时避免边缘的背景色混入。3、通过将算法实现GLSL化,直接在GPU运行,极大的提高了算法的效率,保证抠图处理的实时性。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述,本专利技术的其它特征、目的和优点将会变得更明显:图1为本专利技术的工作流程图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术,但不以任何形式限制本专利技术。应当指出的是,对本领域的普通技术人本文档来自技高网...

【技术保护点】
1.一种基于背景幕抠图和融合的方法,其特征在于,包括:/n背景颜色获取步骤:获取图像或视频中背景的颜色;/n初始alpha值确定步骤:通过计算像素颜色和背景色的RGB空间的距离和夹角,确定初始像素的初始alpha值,得到alpha图像;/n二值化步骤:根据设定的alpha值的阈值,对alpha图像进行二值化处理;/n优化步骤:利用形态学优化二值化处理后的alpha图像,得到三分图;/n共享样本点步骤:对得到的三分图执行共享样本点算法,得到最终的前景色和alpha值。/n

【技术特征摘要】
1.一种基于背景幕抠图和融合的方法,其特征在于,包括:
背景颜色获取步骤:获取图像或视频中背景的颜色;
初始alpha值确定步骤:通过计算像素颜色和背景色的RGB空间的距离和夹角,确定初始像素的初始alpha值,得到alpha图像;
二值化步骤:根据设定的alpha值的阈值,对alpha图像进行二值化处理;
优化步骤:利用形态学优化二值化处理后的alpha图像,得到三分图;
共享样本点步骤:对得到的三分图执行共享样本点算法,得到最终的前景色和alpha值。


2.根据权利要求1所述的基于背景幕抠图和融合的方法,其特征在于,所述背景颜色获取步骤包括两种:
A、分别统计图像或视频中RGB三个通道的直方图,选取RGB概率最大的为背景颜色值;
B、直接获取用户所选择的背景颜色值。


3.根据权利要求1所述的基于背景幕抠图和融合的方法,其特征在于,所述初始alpha值确定步骤包括:
第i个像素的像素色Ci与背景色Cb的距离di:



第i个像素的像素色Ci与背景色Cb的夹角cosθi:



第i个像素的初始alpha值αi:



其中,


4.根据权利要求1所述的基于背景幕抠图和融合的方法,其特征在于,所述优化步骤包括:
A、分别对前景区域、背景区域,执行一次开运算,连接局部不连续的区域;
B、分别对前景区域、背景区域,执行尺寸为扩展区域rc的腐蚀操作。


5.根据权利要求1所述的基于背景幕抠图和融合的方法,其特征在于,所述共享样本点步骤包括:
对于每一个未知区域中的点p:
A、从p点出发的4个等角距射线方向,分别找到距离p点最近的前景点和背景点,并将这些前景点组成集合背景点组成集合对计算p到s的能量函数并得到p属于前景区域Tf的概率其中,为两点的颜色差异,为两点的距离,Ep(b)为点b到点p的能量函数,Ep(f)为点p到点f的能量函数;
B、对任意对
-计算颜色失真为使最小的取值,为点fip的颜色,为点的颜色;
-计算PFp和不一致性参数
-综合颜色失真、不一致性参数和位置关系:




为目标函数,Np为颜色失真度函数,Ap为不一致性参数,Dp为fip、和p点的直线距离;
C、选择使最小的颜色对分别作为前景色和背景色;
D、对p的10x10领域内的所有q∈Tunknown的颜色对Tunknown为未知区域,计算相对p点的颜色失真度,选择失真度最小的颜色对作为p的新的颜色对;
E、将所有颜色对和相应的透明度做高斯平滑,输出最终的前景色和alpha值。

【专利技术属性】
技术研发人员:邓海峰曹康文李欢
申请(专利权)人:上海影卓信息科技有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1