一种基于背景差异抠图和稀疏光流法的深度的生成方法技术

本发明专利技术涉及了一种基于背景差异抠图和稀疏光流法的深度的生成方法，该方法包括：选择适当的颜色空间和建立颜色模型；快速有效的建立背景模型，从而对视频序列的背景有一个准确的描述；根据上述背景模型，对各像素点的进行分类；优化像素分类结果；稀疏光流法求特征点的光流值；通过插值求所有点的光流值；由光流值得到深度值。本发明专利技术的优点在于：能够避免单独使用光流法而无法解决的遮挡问题；能够全自动地实现视频序列的深度的生成。

【技术实现步骤摘要】

本专利技术涉及图像分割和深度生成技术，尤其是一种基于背景差异抠图和稀疏光流法的深度的生成方法。
技术介绍
三维图像和显示是未来信息系统的一种重要表现形式，三维图像和显示层次分明色彩鲜艳，具有很强的视觉冲击力，让观看的人驻景时间更长，留下深刻的印象；另外三维图像和现实给人以真实、栩栩如生，人物呼之欲出，身临其境的感觉，有很高的艺术欣赏价值。但是目前立体显示市场存在着这样的矛盾立体显示设备的飞速普及和立体显示片源的严重匮乏。目前，由平面媒体资源转换成立体的媒体内容包含两种情况，一是通过重新设计的平面摄像机进行拍摄，如用一对立体对摄像机进行拍摄，再通过后期的制作获取三维的媒体内容；另一种是将已经拍摄好的平面媒体资源转换成具有三维信息的内容，本专利技术主要针对后一种转换方法。目前普遍采用的方法是通过运动信息、颜色信息等相关信息得到每一帧图片的深度图，然后采用基于深度的描述算法(D印th-based rendering)得到三维图。在此过程中，最重要的一个步骤就是如何获取每个像素点的深度值。 很多研究利用运动信息，主要是光流法来近似估计深度，这种方法对于只有摄像机作平移运动的背景图能产生比较好的效果，但是很多情况下，视频中都会有运动物体，比如本专利便可应用于特定场景的监视。针对摄像机固定即背景不动，但有运动物体的场景，采用光流法会产生不可自身无法解决的遮挡问题，主要是前景运动物体与背景之间的遮挡。既然遮挡主要产生于前景与背景之间，那么如果将背景抠出掉，只求前景物体的每个像素点的光流值，然后由此运动信息得到每个像素点的深度值，这样便能回避或者说解决遮挡问题，而且由于只计算部分点的光流，可以大大提高深度生成的速度。
技术实现思路
本专利技术的目的是克服现有技术中存在的不足，提供，可以有效地解决遮挡问题、提高深度图生成的速度以及实现全自动深度图的生成。 按照本专利技术提供的技术方案，所述基于背景差异抠图和稀疏光流法的深度的生成方法包括以下步骤 1)选择颜色空间和建立相应的颜色模型； 2)建立背景模型，从而对背景有一个准确的描述所述背景模型用于表示场景背景的属性； 3)图像中所有像素点的分类当确定了颜色空间和颜色模型之后，采用差异估计函数来计算当前帧和参考帧在同一像素处的颜色特征值差异，并根据预先计算出的色度和亮度的阈值，按照分类函数将像素划分为前景或背景类，由此划分出前景运动物体； 4)优化像素分类结果去除噪点，同时平滑运动物体的边缘； 5)由稀疏光流法对得到的前景运动物体的特征点求光流值； 6)由稀疏光流点的光流值估算前景运动物体上其它点的光流值采用差值的方 法，对于物体上的一点，以该点到各特征点的距离的倒数作为各特征点对该点光流影响的 权值，然后将各特征点的光流值与权值的乘积的和作为该点的光流值； 7)由光流值得到深度值对于某个像素点，其光流值越大，代表该像素点离相机 的距离越近，则其深度值越大；另外，考虑人的视觉感知信息，认为当光流值大于或者小 于给定的阈值时，人无法明显感知深度的变化，将光流值与深度值之间的关系用反正切函 数关系来表示。 步骤1所述选择颜色空间和建立颜色模型是将当前帧和参考帧的比较在一定的 颜色空间内进行，确定颜色空间后，根据实验场景特征建立颜色模型，用于当前帧和参考帧 的逐像素比较。 步骤2所述建立背景模型的方法为对于一段有N帧静止背景序列的视频，首先计 算前N帧背景序列的各像素的色度和亮度，并分别求出色度和亮度的概率密度分布，即针 对所述概率密度分布，指定检测概率，求出用于区分背景和前景的色度和亮度的阈值(t cd、Tal、 t。2)，其中，、d为在指定检测概率下，色度的概率分布的阈值上限，Tw和1。2为指定检测概率下，亮度的概率分布的阈值下限和上限；最后，由阈值(tm、 t al、 t a2)将各 像素点划分为前景、背景、阴影点以及高亮点。 步骤4所述优化像素分类结果的方法为采用中值滤波以去除零星的噪声点和不 连续的点。步骤5所述前景运动物体的特征点包括角点、亮度梯度变化大的点、边缘点。 步骤6所述求物体上任一点的光流值的计算公式如下 w 1 F = -^X乂)'■=1 Fll 式中，yi代表图象中特征点的位置坐标，fi代表特征点yi的光流值，N代表特征点 的数目，x代表图象中任一点的位置坐标，F为任一点x的光流值。 步骤7所述由光流值得到深度值的转换关系由下式给出 D印thValue = (255/Ji) 式中，FlowValue为像素点的光流值，MaxFlowValue为所有像素点中光流的最大值，MinFlowValue为所有像素点种光流的最小值，D印thValue为像素点的深度值。 本专利技术的优点是由于只求前景物体的每个像素点的光流值，然后由此运动信息得到每个像素点的深度值，这样便能回避或者说解决遮挡问题，而且由于只计算部分点的光流，可以大大提高深度生成的速度。附图说明 图1是RGB颜色空间模型图。 图2(a)是归一化亮度分布直方图。 图2(b)是归一化色度分布直方图。 图3是本专利技术流程图。具体实施例方式下面结合附图和实施例对本专利技术作进一步说明。 如图3所示，本专利技术包括以下步骤 1)选择适当的颜色空间或建立颜色模型针对本研究，选择RGB颜色空间，在RGB 空间中，要考虑到选取适当的颜色特征将色度和亮度分离，这样有助于检测阴影及高光区 域。在该空间中，比较两个颜色的差异即为比较两个向量在空间中的欧式距离，如图l所 示。图中，A为差异向量，根据人类视觉特征，该差异向量可分解为亮度E「 a &和色度CD, 分量，由此建立颜色模型。 2)当确定了一定的颜色空间后，就要选择适当的颜色特征或建立颜色模型进行差 异比较。适当的颜色特征可以有效的帮助核心算法正确划分背景、前景，消除不正确的划 分。快速有效的建立背景模型，从而对背景有一个准确的描述——背景建模当确定颜色空 间和选定适当的颜色模型后，就可以针对一段时间内采集到的背景照片进行训练，从而建 立背景统计模型。在建立背景统计模型之前，先定义一下几个量，以便于研究针对RGB空 间中的一个像素i，Ei二 代表在参考帧(背景图片)中该像素对应 的期望RGB颜色，Ii= 代表像素在当前帧(当前图片)的RGB颜色 值。我们的目标是衡量出Ii和Ei的扭转，即当前帧该像素处的颜色值与参考帧的期望值之 间的差异。于是，接着将定义亮度扭转分量a和色度扭转分量CD，其中a是一个标量，尽 量使得观察颜色接近期待颜色线，该分量是由最小化下式得到的小(a》=(I-QiEi)2 ;CD 定义为观察颜色和期望颜色线的垂直距离，以此来衡量观察颜色和期望颜色在色度上的差 异，如下式所示CDi = I Ili-QiEil |。 通过背景建模可以得到每个像素点的一个4元向量〈Ei， Si， ai， bi>， Ei为颜色期望 值，ii k (i) (k = R， G， B)为颜色值的均值，Si是颜色值的标准方差，ai， h分别表示第i个像 素的亮度扭转分量和色度扭转分量的平均变化，N为视频的背景帧数。计算过程如下 i.首先计算出亮度扭转分』a ,.和色度扭转分』 ftCD,.MO ''4々)BilR(i)+Ci工G(i)+Di工B(i)G0本文档来自技高网...

【技术保护点】
一种基于背景差异抠图和稀疏光流法的深度的生成方法，其特征是包括以下步骤：　　　　１）选择颜色空间和建立相应的颜色模型；　　　　２）建立背景模型，从而对背景有一个准确的描述：所述背景模型用于表示场景背景的属性；　　　　３）图像中所有像素点的分类：当确定了颜色空间和颜色模型之后，采用差异估计函数来计算当前帧和参考帧在同一像素处的颜色特征值差异，并根据预先计算出的色度和亮度的阈值，按照分类函数将像素划分为前景或背景类，由此划分出前景运动物体；　　　　４）优化像素分类结果：去除噪点，同时平滑运动物体的边缘；　　　　５）由稀疏光流法对得到的前景运动物体的特征点求光流值；　　　　６）由稀疏光流点的光流值估算前景运动物体上其它点的光流值：采用差值的方法，对于物体上的一点，以该点到各特征点的距离的倒数作为各特征点对该点光流影响的权值，然后将各特征点的光流值与权值的乘积的和作为该点的光流值；　　　　７）由光流值得到深度值：对于某个像素点，其光流值越大，代表该像素点离相机的距离越近，则其深度值越大；另外，考虑人的视觉感知信息，认为：当光流值大于或者小于给定的阈值时，人无法明显感知深度的变化，将光流值与深度值之间的关系用反正切函数关系来表示。...

【技术特征摘要】

【专利技术属性】
技术研发人员：季向阳，闫友为，曹汛，刘晓冬，刘磊，
申请(专利权)人：无锡景象数字技术有限公司，
类型：发明
国别省市：32[中国|江苏]