一种面向深度相机的自适应多线索融合背景减除方法技术

本发明专利技术公开了一种面向深度相机的自适应多线索融合背景减除方法，步骤包括：A、输入深度相机采集的若干颜色图像帧和深度图像帧，分别利用基础背景建模方法进行初始化，建立颜色背景模型和深度背景模型；B、输入新一帧，通过背景减除分别得到颜色图像和深度图像各自的前景图像；C、利用加权融合方法把颜色图像和深度图像的前景图像融合为新的前景图像，并通过阈值选择技术将其二值化；D、使用多线索时空一致性策略，以当前颜色图像、深度图像及上一帧的检测结果对前景图像进行自适应改良，得到最终结果；E、更新背景模型。F、重复执行步骤B至步骤E，直至处理完所有图像帧。该方法能有效检测前景，取得较高的召回率和准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，更为具体地，涉及一种面向深度相机的自适应多线索融合背景减除方法。
技术介绍
背景减除是计算机视觉领域的一个基础任务，其主要目的是将前景目标从背景场景中检测出来，在近几年得到了广泛的关注。它服务于大量的视频处理应用，如智能视频监控、目标追踪、动作识别还有人机交互等。背景减除的输出结果通常是更高层次计算机视觉任务的输入信息，所以它的执行直接影响到这些任务接下来的执行结果。虽然近年来有了较大进展，但对于一些包含复杂因素的场景，例如包含剧烈光照变化、阴影以及动态背景(如自动扶梯、晃动的窗帘、闪烁的显示器)等，背景减除仍然是一项比较困难的任务。最近技术的发展，使得能够获取一些场景的深度信息。这些深度信息可以利用飞行时间(ToF)相机、华硕的Xtion PRO或者是微软的Kinect等设备获得。使用这些设备，可以得到包含颜色图像和深度图像信息的RGB-D视频集。本专利技术里，把能够获得颜色图像和深度图像的相机和设备称为深度相机。这些颜色和深度信息的有效结合将会得到更好的背景减除的结果。因此，本专利技术提出一种面向深度相机的自适应多线索融合背景减除方法。
技术实现思路
本专利技术公开一种面向深度相机的自适应多线索融合背景减除方法。该方法提出颜色图像与深度图像的信息相结合策略，可以有效抑制噪声点的出现；提出多线索改良策略，使得检测得到的前景图像更加精确完整。本专利技术所解决的技术问题可采用如下技术解决方案来实现：本专利技术需要以一种可分别单独用于颜色图像和深度图像的背景建模方法作为基础，以下将这一方法称为基础背景建模方法。本专利技术提供了一种面向深度相机的自适应多线索融合背景减除方法，包括以下步骤：A、输入深度相机采集的若干颜色图像帧和深度图像帧，并分别利用基础背景建模方法进行初始化，建立颜色背景模型和深度背景模型；B、输入新一帧，通过背景减除分别得到颜色图像和深度图像各自的前景图像；C、利用加权融合的方法，把颜色图像和深度图像的前景图像融合为新的前景图像，并通过阈值选择技术将融合的前景图像二值化；D、使用多线索时空一致性策略，以当前颜色图像、深度图像以及上一帧的检测结果来对前景图像进行自适应改良，得到最终结果；具体的，改良的对象是上一步执行得到的二值化融合结果，参照的线索包括当前帧的颜色图像和深度图像、使用边缘检测器检测得到的边缘图像、上一帧最后输出的前景图像。以表示步骤C所输出的二值化前景图像，其中像素点x为前景时否则把Et定义为对当前帧彩色图像使用边缘检测器得到的边缘图像。Et是一幅二值化图像，当像素x是边缘像素时Et(x)＝255，否则Et(x)＝0。把定义为在t时刻最终输出的前景图像。自适应改良方法的步骤如下：1)对图像内的前景像素点x(也就是说，)采用迭代的方式。在第一次迭代，像素x的8连通区域邻近集被处理。具体地，如果像素在中是一个背景像素点，当满足以下条件时，它会被转换为前景点： D ( y ^ c , x ^ c ) < κ c D ( y ^ d , x ^ d ) < κ d E t ( y ) ≠ 255 - - - ( 5 ) ]]>其中函数D(·,·)用于计算两个特征向量的欧氏距离，κc和κd为预设定的常量。2)第二次迭代中，对于集中的像素采取同样的处理方法。集定义为其中∪操作符表示集合的并运算。同样地，将在第T次迭代中处理集中的像素，直至迭代终止执行。3)当像素x在前一帧被判定为背景像素时，其迭代的次数T(x)不能超过预先定义的常量值γ： T ( x ) ≤ γ w . r . t F 本文档来自技高网...

【技术保护点】
一种面向深度相机的自适应多线索融合背景减除方法，其特征在于，所述方法包括以下步骤：A、输入深度相机采集的若干颜色图像帧和深度图像帧，并分别利用基础背景建模方法进行初始化，建立颜色背景模型和深度背景模型；B、输入新一帧，通过背景减除分别得到颜色图像和深度图像各自的前景图像；C、利用加权融合的方法，把颜色图像和深度图像的前景图像融合为新的前景图像，并通过阈值选择技术将融合的前景图像二值化；D、使用多线索时空一致性策略，以当前颜色图像、深度图像以及上一帧的检测结果来对前景图像进行自适应改良，得到最终结果；E、更新背景模型；F、重复执行步骤B至步骤E，直至处理完所有图像帧。

【技术特征摘要】
1.一种面向深度相机的自适应多线索融合背景减除方法，其特征在于，所述方法包括以下步骤：A、输入深度相机采集的若干颜色图像帧和深度图像帧，并分别利用基础背景建模方法进行初始化，建立颜色背景模型和深度背景模型；B、输入新一帧，通过背景减除分别得到颜色图像和深度图像各自的前景图像；C、利用加权融合的方法，把颜色图像和深度图像的前景图像融合为新的前景图像，并通过阈值选择技术将融合的前景图像二值化；D、使用多线索时空一致性策略，以当前颜色图像、深度图像以及上一帧的检测结果来对前景图像进行自适应改良，得到最终结果；E、更新背景模型；F、重复执行步骤B至步骤E，直至处理完所有图像帧。2.根据权利要求1所述的方法，其特征在于，步骤A所述的基础背景建模方法是一种可分别单独用于颜色图像和深度图像的背景建模方法。3.根据权利要求1所述的方法，其特征在于，步骤D使用时空一致性策略进行自适应改良的步骤如下：以和分别表示t时刻的当前帧彩色图像和深度图像，以表示步骤C所输出的二值化前景图像，其中像素点x为前景时否则把Et定义为对彩色图像使用边缘检测器得到的边缘图像；Et是一幅二值化图像，当像素x是边缘像素时Et(x)＝255，否则Et(x)＝0；把定义为在t时刻最终输出的前景图像；1)对图像内的前景像素点x(即)采用迭代的方式；在第一次迭代，像素x的8连通区域邻近集被处理；具体地，如果像素在中是一个背景像素点，当满足以下条件时，它会被转换为前景点： D ( y ^ c , x ^ c ) < κ c D ( y ^ d , ...

【专利技术属性】
技术研发人员：吴贺丰，黄健威，龚永义，
申请(专利权)人：广东外语外贸大学，
类型：发明
国别省市：广东;44