前景对象检测方法与装置及背景检测方法与装置制造方法及图纸

本发明专利技术提供一种前景对象检测方法与装置及背景检测方法与装置。其中，前景对象检测方法用于检测深度图像中的像素，前景对象检测方法包括：从该多个深度图像中接收该像素的深度值；如果该像素可以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景；如果该像素位于该第一背景之后，处理备用背景模型；如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及提供该像素的该代表值。本发明专利技术提供的前景对象检测方法可实现简单而实用的基于深度图像的前景对象检测。

【技术实现步骤摘要】

本专利技术有关于一种前景对象检测方法，更具体地，有关于一种前景对象检测方法和装置以及背景检测方法和装置。
技术介绍
前景对象检测是将从相机撷取(capture)图像中的前景对象与背景分离的过程。前景对象具有各种应用，例如视频监视(video surveillance)或基于对象的视频编码。实际应用中的前景对象检测方法通常基于背景相减法(background subtraction),背景相减法假设随时间推移相机为固定(stationary)且可创建并更新背景模型(backgroundmodel)。本领域存在若干实际应用的流行技术,包括调适性高斯集合法(adaptive MixtureofGaussian, M0G)、核心密度估计法(Kernel Density Estimation, KDE)以及编码本(Codebook)。所有上述前景/背景检测方法采用图像处理技术来处理相机撷取的色彩/强度图像，而其中所撷取图像不包括深度信息。一种基于混合高斯模型(Mixture ofGaussian)的方法已应用于具有混合的深度和色彩信息的图像。然而，基于MOG的方法简单地将深度信息看作色彩信息的组成并因此产生更高的计算复杂度。因此，需要提出低复杂度前景对象检测方法和装置，采用深度图像中的深度信息来检测深度图像的场景中所对应的前景对象。
技术实现思路
有鉴于此，本专利技术提供一种前景对象检测方法与装置及背景检测方法与装置。本专利技术提供一种前景对象检测方法，用于检测多个深度图像中的像素，该前景对象检测方法包括从该多个深度图像中接收该像素的深度值；如果该像素可以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景；如果该像素位于该第一背景之后，处理备用背景模型；如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及提供该像素的该代表值。本专利技术再提供一种背景检测方法，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测方法包括从该多个深度图像中接收该像素的深度值；如果该像素以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型；如果该像素在对应于该第一背景分布模型的该背景之后，建立候选背景分布模型并估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率对应于由该第一背景分布模型或该候选背景分布模型分别表示的该像素；如果该第一发生频率与该第二发生频率表示高发生频率，从该候选背景分布模型中建立该第二背景分布模型；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，以该候选背景分布模型替换该第一背景分布模型；以及如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。本专利技术另提供一种前景对象检测装置，用于多个深度图像中像素，该前景对象检测装置包括接收模块，用于从该多个深度图像中接收该像素的深度值；判定模块，耦接于该接收模块，用于判定是否该像素可以第一背景分布模型表示；更新模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，则根据该像素的该深度值更新该第一背景分布模型；标记模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，则将该像素的代表值标记为第一背景；而如果该像素位于该第一背景之前，则将该像素的该代表值标记为前景，且该标记模块输出提供该像素的该代表值；以及处理模块，耦接于该判定模块，如果该像素位于该第一背景之后，则该处理模块处理备用背景模型。本专利技术还提供一种背景检测装置，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测装置包括接收模块，用于从该多个深度图像中接收该像素的深度值；判定模块，耦接于该接收模块，用于判定是否该像素可以第一背景分布模型表示；更新模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；而如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型；处理模块，耦接于该判定模块，该处理模块包括创建模块、频率估计模块、丢弃模块以及替换模块；其中，如果该像素在对应于该第一背景分布模型的该背景之后，创建模块建立候选背景分布模型，且该频率估计模块估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率分别对应于由该第一背景分布模型或该候选背景分布模型表示该像素的发生频率；如果该第一发生频率与该第二发生频率表示高发生频率，该创建模块从该候选背景分布模型中建立该第二背景分布模型的模块；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，该丢弃模块丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，该替换模块以该候选背景分布模型替换该第一背景分布模型；以及如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。本专利技术提供的前景对象检测方法可实现简单而实用的基于深度图像的前景对象检测。附图说明图1为通过减去已知背景基于色彩/强度图像的简单前景检测示意图；图2为使用三种高斯分布的MOG方法的实例示意图；图3为前景中对应两个人物主体的深度图像示意图；图4为使用深度相机撷取深度图像的方案示意图；图5为对应上述过程的流程图；图6为根据本专利技术一个实施例基于深度信息的背景确定示意图；图7为根据本专利技术一个实施例的高斯模型更新过程的流程图8为根据本专利技术一个实施例包括改进的背景更新过程且同时处理无意义像素的系统流程图；图9为基于具有混合的两个高斯模型的深度信息的背景确定示意图；图10为根据本专利技术一个实施例基于深度信息的前景对象检测结果示意图；图1lA为根据本专利技术的一个实施例的前景对象检测装置的方块示意图；图1lB为图1lA中处理模块的方块示意图；图12为根据本专利技术的一个实施例的背景对象检测装置的方块示意图。具体实施例方式在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属
的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准贝U。在通篇说明书及权利要求项中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。 前景对象检测是将自相机撷取的图像中的前景对象与背景分离的过程。前景对象具有各种应用，例如视频监视或基于对象的视频编码。前景对象检测方法通常基于背景相减法，该背景相减法假设随时间推移相机为固定的且可创建并更新本文档来自技高网...

【技术保护点】
一种前景对象检测方法，用于检测多个深度图像中的像素，该前景对象检测方法包括：从该多个深度图像中接收该像素的深度值；如果该像素以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景；如果该像素位于该第一背景之后，处理备用背景模型；如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及提供该像素的该代表值。

【技术特征摘要】
2011.09.29 US 13/248,2421.一种前景对象检测方法，用于检测多个深度图像中的像素，该前景对象检测方法包括 从该多个深度图像中接收该像素的深度值； 如果该像素以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景； 如果该像素位于该第一背景之后，处理备用背景模型； 如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及 提供该像素的该代表值。2.如权利要求1所述的前景对象检测方法，其特征在于，如果该像素的深度值在一个范围之内，该范围覆盖对应于该第一背景分布模型的第一值，则该像素以该第一背景分布模型表示。3.如权利要求2所述的前景对象检测方法，其特征在于，该第一背景分布模型符合高斯分布模型，该高斯分布模型具有平均值或标准差，其中，该第一值与该平均值相关且该范围与该标准差相关。4.如权利要求2所述的前景对象检测方法，其特征在于，如果该深度值大于该第一值，该像素位于该第一背景之后。5.如权利要求2所述的前景对象检测方法，其特征在于，如果该深度值小于该第一值，该像素位于该第一背景之前。6.如权利要求1所述的前景对象检测方法，其特征在于，更包括，如果该第一背景分布模型不存在，建立新的第一背景分布模型。7.如权利要求6所述的前景对象检测方法，其特征在于，根据先前帧中的对应像素的先前深度值，建立该新的第一背景分布模型。8.如权利要求6所述的前景对象检测方法，其特征在于，该新的第一背景分布模型的平均值对应于该像素值或先前帧中对应像素的先前深度值。9.如权利要求1所述的前景对象检测方法，其特征在于，更包括检查是否该深度值为有意义的，且如果该深度值为无意义的，在所述的接收该深度值之后，将该像素的该指示标记为该第一背景。10.如权利要求1所述的前景对象检测方法，其特征在于，根据该深度值或先前帧中对应像素的先前深度值，所述的处理备用背景模型以新的第一背景分布模型替换该第一背景分布模型。11.如权利要求10所述的前景对象检测方法，其特征在于，该第一背景分布模型符合第一高斯分布，该第一高斯分布具有第一平均值和第一标准差，其中，该深度值用作该第一平均值且预定义值用作该第一标准差。12.如权利要求1所述的前景对象检测方法，其特征在于，所述的处理备用背景模型包括 如果第二背景分布模型不存在，根据该深度值建立该第二背景分布模型； 如果噪声估计表示对应于该第二背景分布模型的第二背景为真实背景，则以该第二背景分布模型替换该第一背景分布模型；以及 如果该噪声估计表示该第二背景为噪声，则丢弃该第二背景分布模型。13.如权利要求12所述的前景对象检测方法，其特征在于，该噪声估计基于该像素以该第二背景分布模型表示的发生频率。14.如权利要求13所述的前景对象检测方法，其特征在于，如果该第二背景分布模型代表该像素则增加该发生频率，否则减少该发生频率。15.如权利要求14所述的前景对象检测方法，其特征在于，如果该发生频率大于高的阈值，则表示该第二背景为该真实背景。16.如权利要求14所述的前景对象检测方法，其特征在于，如果该发生频率小于低的阈值，则表示该第二背景为该噪声。17.如权利要求1所述的前景对象检测方法，其特征在于，更包括提供对应于该像素的该代表值的背景置信度。18.如权利要求17所述的前景对象检测方法，其特征在于，该背景置信度与第一计数a相关、第二计数z相关以及第三计数t相关，其中，该第一计数a对由该第一背景分布模型表示的该像素进行计数，该第二计数z对无意义的该像素进行计数，该第三计数t对作为该第一背景的该像素进行计数。19.如权利要求1所述的前景对象检测方法，其特征在于，该第一背景分布模型符合固定背景分布模型，该固定背景分布模型具有第一值和第二值，其中，如果该深度值与该第一值之间的差值在误差容忍度之内，则该像素以该第一背景分布模型表示，其中，该误差容忍度对应于该第二值,该第一值与该第二值为不可更新的。20.如权利要求19所述的前景对象检测方法，其特征在于，将在该像素处所观察的最大...

【专利技术属性】
技术研发人员：张涛，蔡玉宝，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：发明
国别省市：