一种高精度简易交互式抠图方法、存储设备及终端技术

本发明专利技术公开的一种高精度简易交互式抠图方法、存储设备及终端，包括：输入待抠图的原始图像；根据不同的使用环境，输出提示信息；获取用户操作命令，确定操作模式；计算得到三分图；获取未知区域像素的前景、背景样本点集；抽取样本点对，估计出未知区域像素的不透明度，取置信度最高的不透明度作为抠图用不透明度；在未知区域像素的邻域进行平滑操作，得到未知区域像素平滑后的抠图用不透明度；根据平滑后的抠图用不透明度、样本点对的颜色值，从原始图像中提取出前景目标。本发明专利技术操作简单、且具有较高抠图精度，适用于图像处理领域。

A high precision simple interactive matting method, storage device and terminal

A high precision simple interactive matting method, the invention discloses a storage device and a terminal, including: input to the original image matting; according to different operating conditions, the output message; acquiring user operation command, determines the mode of operation; three points calculated; obtaining the unknown region pixels of the foreground and background samples; sample points, the estimate of unknown pixels opacity, take the highest confidence the opacity of the opacity as matting; smoothing operation in unknown neighborhood pixels, the unknown pixel region smoothed with cutout opacity; according to the smoothed matting color sample points of opacity and value, extract the foreground object from the original image. The invention has the advantages of simple operation, and high precision matting for image processing field.

【技术实现步骤摘要】
一种高精度简易交互式抠图方法、存储设备及终端
本专利技术涉及图像处理领域，具体涉及一种高精度简易交互式抠图方法、存储设备及终端。
技术介绍
抠图是指将感兴趣的前景区域从图像或者视频背景中精确分离的过程，它广泛应用于视频编辑、虚拟现实、电影制作等领域。抠图后通过简单的融合处理，便能将前景目标随心所欲地与各种背景相结合，大大减少场景布置的工作量。自然图像抠图理论认为，图像中的每个像素点均可由公式(9)表示：I＝αF+(1-α)B(9)其中：I表示实际图像中的颜色值，F表示前景颜色值，B表示背景颜色值，α称为前景不透明度。输入的待抠图像可以划分为前景区域、背景区域和未知区域三个部分，其中前景区域的不透明度α＝1，背景区域的不透明度α＝0。抠图操作的目标就是确定未知区域的不透明度及其对应的前景颜色值、背景颜色值。目前，已有许多抠图算法和抠图软件问世，但均离简单、实用的目标有一定距离。传统的蓝屏抠图简单易行，但要求目标置于蓝色的背景中，限制了拍摄场景和使用范围；Knockout抠图适用于颜色平缓过渡的区域，但局部细节抠图较差；Bayesian抠图和Possion抠图适用于前景和背景差异较大的情况，但在前景颜色分布复杂时，抠图效果较差；Robust抠图稳定性较好，但对于非连通边缘往往无能为力。此外，以上算法普遍存在计算复杂度高、难以实时应用的缺陷。现有的抠图软件如Photoshop等操作较为复杂，需要一定的专业知识，耗时费力；TouchRetouch和抠图神手等提取出的前景往往边缘不够精细，存在较多的毛边。
技术实现思路
针对相关技术中存在的不足，本专利技术所要解决的技术问题在于：提供一种操作简单、且具有较高抠图精度的抠图方法、存储设备及终端。为解决上述技术问题，本专利技术采用的技术方案为：一种高精度简易交互式抠图方法，包括：S101、输入待抠图的原始图像；S102、根据不同的使用环境，向用户输出提示信息；S103、获取不同的用户操作命令，确定相对应的操作模式；S104、根据确定的操作模式，计算得到三分图；S105、对三分图中未知区域的每个像素进行梯度计算，根据梯度方向获取当前未知区域像素的前景样本点集、背景样本点集；S106、从上述两个样本点集中分别抽取一个样本点组成样本点对，采用不同的样本点对估计出未知区域像素不同的不透明度，取置信度最高的不透明度作为抠图用不透明度；S107、根据上述抠图用不透明度，在当前未知区域像素的邻域进行平滑操作，得到当前未知区域像素平滑后的抠图用不透明度；S108、根据未知区域每个像素平滑后的抠图用不透明度、以及每个抠图用不透明度对应的样本点对的颜色值，从原始图像中提取出前景目标。优选地，从原始图像中提取出前景目标之后，还包括：S1091、将提取出的前景目标直接进行保存、输出；或者，S1092、输入新背景图像，将提取出的前景目标与新背景图像进行合成，保存、输出合成图像。优选地，所述操作模式，包括：背景差模式和手工标记模式；所述根据确定的操作模式，计算得到三分图，具体包括：若操作模式为背景差模式，则先通过下列差分公式获取前景图像Id：Id＝|I-Ibg|，其中：I为包含前景目标和背景目标的待抠图像，Ibg为不包含前景目标的背景图像；对前景图像Id作一次开运算，得到修正后的前景图像Ido；对修正后的前景图像Ido作尺寸为re的腐蚀操作，得到三分图的前景区域Fg，对修正后的前景图像Ido作尺寸为rd的膨胀操作，得到三分图的背景区域Bg，前景区域和背景区域之间的区域为未知区域，至此，得到背景差模式下待抠图像I的三分图It；若操作模式为手工标记模式，则先获取用户的操作命令，在待抠图像I的前景区域、背景区域中分别选择一点Pfg、Pbg作为初始生长点，使用下列区域生长算法向邻域扩散：其中：i为当前像素，j为i的邻域像素，Ii、Ij分别表示i、j点处的颜色值，Grai、Graj分别表示i、j点处的梯度值，Tv、Tg分别为区域生长的颜色阈值和梯度阈值，当gne(j)为1时，表示像素j与像素i处于同一区域中，当gne(j)为0时，表示像素j与像素i处于不同区域中；区域生长结束后，得到前景和背景的粗分图Igrow，随后对粗分图Igrow作尺寸为re的腐蚀操作，得到三分图的前景区域Fg，对粗分图Igrow作尺寸为rd的膨胀操作，得到三分图的背景区域Bg，前景区域和背景区域之间的区域为未知区域，至此，得到手工标记模式下待抠图像I的三分图It。优选地，所述对三分图中未知区域的每个像素进行梯度计算，根据梯度方向获取当前未知区域像素的前景样本点集、背景样本点集，具体包括：对未知区域的每个像素i(xi,yi)，计算其梯度值Grai，梯度的方向记为的计算公式为：沿着方向作直线，取直线与前景区域和背景区域的第一个交点，分别作为前景样本点集的第一样本点和背景样本点集的第一样本点，在上述两个第一样本点的周围，分别取多个与之空间距离最接近、而像素值差大于Tv/2的点，分别生成前景样本点集和背景样本点集，其中：Tv为区域的颜色阈值。优选地，在所述前景样本点集的第一样本点和所述背景样本点集的第一样本点的周围，分别取4个与之空间距离最接近、而像素值差大于Tv/2的点，使得所述前景样本点集和所述背景样本点集中包含的样本点均为5个。优选地，所述从上述两个样本点集中分别抽取一个样本点组成样本点对，采用不同的样本点对估计出未知区域像素不同的不透明度，取置信度最高的不透明度作为抠图用不透明度，具体包括：从所述前景样本点集和所述背景样本点集中，分别抽取一个样本点组成样本点对，根据该样本点对作一条直线，将未知区域的每个像素i均投影到该直线上，估计出每个像素i的不透明度：其中：Fi(m)和分别表示第m个前景样本点和第n个背景样本点的颜色值；对于获得的每个未知区域像素的多个不同的不透明度估计，选取置信度最高的不透明度作为该未知区域像素的抠图用不透明度，而该抠图用不透明度对应的样本点对则作为最终的抠图用样本点对。优选地，所述置信度的计算，具体包括：从前景样本点集、背景样本点集中逐对取出样本点对，计算每一样本点对相对于公式(3)所示的线性模型的误差，即线性相似度：根据未知区域像素i和采样的样本点对的颜色值，计算前景颜色相似度：以及背景颜色相似度：根据上述获得的线性相似度和颜色相似度，计算相应于每一样本点对的当前未知区域像素i不透明度估计的置信度：其中：σ1和σ2用于调整不同相似度之间的权值。优选地，在当前未知区域像素的邻域进行平滑操作时，采用下列公式进行平滑后的不透明度计算：其中：Pi、Pj表示i、j二点的坐标，Ii、Ij表示i、j二点的颜色，Grai、Graj表示i、j二点的梯度，σp、σc和σg用于调整三者之间的权重。相应地，本专利技术还提供了一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行如上所述的高精度简易交互式抠图方法。相应地，本专利技术还提供了一种终端，包括：处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理加载并执行如上所述的高精度简易交互式抠图方法。本专利技术的有益技术效果在于：1、本专利技术操作简单、方便，可以根据不同的使用环境，提示用户进行简单的交互操作；获得最终抠图用的不透明度之后，还进行了平滑操作，使得本专利技术本文档来自技高网...

【技术保护点】
一种高精度简易交互式抠图方法，其特征在于：包括：S101、输入待抠图的原始图像；S102、根据不同的使用环境，向用户输出提示信息；S103、获取不同的用户操作命令，确定相对应的操作模式；S104、根据确定的操作模式，计算得到三分图；S105、对三分图中未知区域的每个像素进行梯度计算，根据梯度方向获取当前未知区域像素的前景样本点集、背景样本点集；S106、从上述两个样本点集中分别抽取一个样本点组成样本点对，采用不同的样本点对估计出未知区域像素不同的不透明度，取置信度最高的不透明度作为抠图用不透明度；S107、根据上述抠图用不透明度，在当前未知区域像素的邻域进行平滑操作，得到当前未知区域像素平滑后的抠图用不透明度；S108、根据未知区域每个像素平滑后的抠图用不透明度、以及每个抠图用不透明度对应的样本点对的颜色值，从原始图像中提取出前景目标。

【技术特征摘要】
1.一种高精度简易交互式抠图方法，其特征在于：包括：S101、输入待抠图的原始图像；S102、根据不同的使用环境，向用户输出提示信息；S103、获取不同的用户操作命令，确定相对应的操作模式；S104、根据确定的操作模式，计算得到三分图；S105、对三分图中未知区域的每个像素进行梯度计算，根据梯度方向获取当前未知区域像素的前景样本点集、背景样本点集；S106、从上述两个样本点集中分别抽取一个样本点组成样本点对，采用不同的样本点对估计出未知区域像素不同的不透明度，取置信度最高的不透明度作为抠图用不透明度；S107、根据上述抠图用不透明度，在当前未知区域像素的邻域进行平滑操作，得到当前未知区域像素平滑后的抠图用不透明度；S108、根据未知区域每个像素平滑后的抠图用不透明度、以及每个抠图用不透明度对应的样本点对的颜色值，从原始图像中提取出前景目标。2.根据权利要求1所述的一种高精度简易交互式抠图方法，其特征在于：从原始图像中提取出前景目标之后，还包括：S1091、将提取出的前景目标直接进行保存、输出；或者，S1092、输入新背景图像，将提取出的前景目标与新背景图像进行合成，保存、输出合成图像。3.根据权利要求2所述的一种高精度简易交互式抠图方法，其特征在于：所述操作模式，包括：背景差模式和手工标记模式；所述根据确定的操作模式，计算得到三分图，具体包括：若操作模式为背景差模式，则先通过下列差分公式获取前景图像Id：Id＝|I-Ibg|，其中：I为包含前景目标和背景目标的待抠图像，Ibg为不包含前景目标的背景图像；对前景图像Id作一次开运算，得到修正后的前景图像Ido；对修正后的前景图像Ido作尺寸为re的腐蚀操作，得到三分图的前景区域Fg，对修正后的前景图像Ido作尺寸为rd的膨胀操作，得到三分图的背景区域Bg，前景区域和背景区域之间的区域为未知区域，至此，得到背景差模式下待抠图像I的三分图It；若操作模式为手工标记模式，则先获取用户的操作命令，在待抠图像I的前景区域、背景区域中分别选择一点Pfg、Pbg作为初始生长点，使用下列区域生长算法向邻域扩散：其中：i为当前像素，j为i的邻域像素，Ii、Ij分别表示i、j点处的颜色值，Grai、Graj分别表示i、j点处的梯度值，Tv、Tg分别为区域生长的颜色阈值和梯度阈值，当gne(j)为1时，表示像素j与像素i处于同一区域中，当gne(j)为0时，表示像素j与像素i处于不同区域中；区域生长结束后，得到前景和背景的粗分图Igrow，随后对粗分图Igrow作尺寸为re的腐蚀操作，得到三分图的前景区域Fg，对粗分图Igrow作尺寸为rd的膨胀操作，得到三分图的背景区域Bg，前景区域和背景区域之间的区域为未知区域，至此，得到手工标记模式下待抠图像I的三分图It。4.根据权利要求2所述的一种高精度简易交互式抠图方法，其特征在于：所述对三分图中未知区域的每个像素进行梯度计算，根据梯度方向获取当前未知区域像素的前景样本点集、背景样本点集，具体包括：对未知区域的每个像素i(xi,yi)，计算其梯度值Grai，梯度的方向记为的计算公式为：沿着方向作直线，取直线与前景区域和背景区域的第一个交点，分别作为前景样本点集的第一样本点和背景样本点集的第一样本点，在上述两个第一样本点的周围，分别取多个与之空间距离最接近、而像素...

【专利技术属性】
技术研发人员：孙鹏，王灿进，邱东海，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14