一种像素级物体分割方法及装置制造方法及图纸

本发明专利技术公开了一种像素级物体分割方法及装置，所述方法包括：步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；步骤S2，对包围盒区域中的彩色图像和深度图像进行预设尺度下的下采样，得到金字塔分辨率下的多组图像；步骤S3，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；步骤S4，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果，本发明专利技术可在低资源损耗的同时实现输出图像中的前景物体的像素级别分割结果的目的。

【技术实现步骤摘要】
一种像素级物体分割方法及装置
本专利技术涉及一种像素级物体分割方法及装置，特别是涉及一种可用于资源受限平台上的RGBD图像(深度图像)的像素级物体分割方法及装置。
技术介绍
像素级别的物体分割是计算机视觉领域中的基本问题，对于高层次的视觉任务，如物体识别，物体语义分析等，具有重大的意义。图像前后景分割的问题，一般由多个任务来组成，包括物体检测，物体追踪，以及物体分割。最近火热的深度神经网络，需要花费巨大的时间消耗来训练庞大的具有高精度分割效果的数据集，来获得像素级别精度的分割结果。但是，基于机器学习的分类方法，对于物体的轮廓细节的像素级别分割，容易产生边缘模糊的效果，这是分类器没有对对物体边缘变化较明显的颜色信息进行合理的单独建模所导致的边缘过于平滑的结果；并且由于深度模型拥有的参数量巨大，导致难以加载到绝大多数内存和功率受限的嵌入式设备中。在近年来，基于语义信息的前景物体分割涌现了很多优秀的工作。比如使用条件随机场来获得的从粗糙到精细的物体分割，但这种策略依旧需要巨大的存储资源消耗，它们通过分层的从粗糙到精细化处理的算法设计核心思路给人们带来了启发：首先，要通过粗糙到精细化的分层处理，来依次获得前景物体的整体分割以及轮廓部分的精细分割，其次，要结合颜色信息和深度信息各自的优势，然而，前者对于细节的变化比较敏感，而后者对于前景物体的整体定位和分割具有高准确度，两者结合才能得到高精度的像素级别的物体分割结果，需要巨大的存储资源消耗。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种像素级物体分割方法及装置，以实现将RGB-D图像作为输入，输出图像中的前景物体的像素级别分割结果。为达上述及其它目的，本专利技术提出一种像素级物体分割方法，包括如下步骤：步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；步骤S2，对包围盒区域中的彩色图像和深度图像进行特定尺度下的下采样，得到金字塔分辨率下的多组图像；步骤S3，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；步骤S4，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。优选地，于步骤S1中，若应用场景为用户指定前景目标，步骤S1具体步骤如下：对前景目标所在的区域划定包围盒；对包围盒内的像素的深度值出现的频率进行直方图统计，统计得到直方图的深度峰值段，并获得包围盒内深度值统计方差；根据包围盒内深度峰值段及包围盒内深度值统计方差对像素点进行处理，得到粗糙的前景物体分割结果。优选地，于步骤S1中，若应用场景为用户没有指定前景目标，步骤S1具体步骤如下：获得背景的深度图像；利用包含前后景的深度图与之相减，得到粗糙的前景物体的物体分割结果。优选地，于步骤S2中，图像金字塔分为原分辨率层图像、中间分辨率层图像以及低分辨率层图像，只需固定原分辨率层图像和低分辨率层图像，中间层次分辨率的图像均由前两者线性插值得到。优选地，于步骤S3中，每层分辨率图像的优化采用雅克比迭代。优选地，每次雅克比迭代采用如下优化公式：其中，M0为迭代优化的二值化初始物体分割结果，λm为初始物体分割结果的权重值，λc，λd分别为彩色图像和深度图像的权重值，t为当前迭代次数，Ωi为第i个像素点所在的滤波窗口中的像素集合，为对彩色信息I指导的联合双边滤波结果，为对深度信息D指导的联合双边滤波结果。优选地，对于彩色信息I指导的联合双边滤波，采用如下公式：其中，wf等于联合双边滤波方形窗口边长，σc控制对强度信息变化的敏感程度。优选地，对于深度信息D指导的联合双边滤波，采用如下公式：其中，wf等于联合双边滤波方形窗口边长；控制对深度信息变化的敏感程度，为包围盒内深度信息的中位数。优选地，于步骤S4中，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行与操作，获得最终的像素级目标分割结果。为达到上述目的，本专利技术还提供一种像素级物体分割装置，包括：图像预处理单元，用于对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；下采样单元，用于对包围盒区域中的彩色图像和深度图像进行特定尺度下的下采样，得到金字塔分辨率下的多组图像；联合双边滤波单元，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；融合处理单元，用于将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。与现有技术相比，本专利技术一种像素级物体分割方法及装置仅需提供前景物体的大致位置，即一个精度不必太高，但保证能包含整个物体的包围盒，就能把前景物体的像素级物体分割结果(mask)在保边度高的前提下准确地提取出来，减少了资源损耗，可应用于绝大多数计算资源和存储空间资源受限的嵌入式设备中。附图说明图1为本专利技术一种像素级物体分割方法的步骤流程图；图2为本专利技术一种像素级物体分割装置的系统架构图；图3为本专利技术具体实施例之像素级物体分割过程的示意图；图4为本专利技术和GSM，Vibe，MOG方法在数据集GSMdataset的RGB-D视频序列Cespatx_ds上的某一帧分割效果在视觉上的对比结果示意图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。图1为本专利技术一种像素级物体分割方法的步骤流程图。如图1所示，本专利技术一种像素级物体分割方法，包括如下步骤：步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域(boundingbox)。在此，初始获得的深度图像和彩色图像指的是从图像传感器中直接获得的深度图像和彩色图像。在本专利技术具体实施例中，步骤S1主要分为两个应用场景分别进行处理：1、第一种应用场景是用户指定前景目标：具体处理方法如下：对前景目标所在的区域划定包围盒(boundingbox)，然后对包围盒内的像素的深度值出现的频率进行直方图统计，以10mm为一个深度值段，统计得到直方图的深度峰值段(即出现频次最高的深度值段)，记为(Dm-5,Dm+5]，包围盒内深度值统计方差其中传感器内部固定参数c＝1.45*10-5，把包围盒内深度值范围在[Dm-2σm，Dm+2σm]内的像素点记为1，其余记为0，得到粗糙的前景物体分割结果。对于本领域技术人员，此方法可以很容易扩展为检测算法来获取前景物体的包围盒，并通过追踪算法在视频流里持续获得目标物体的包围盒。特别地，为了保证本专利技术的鲁棒性，这里的包围盒可以比追踪算法输出的包围盒要大1.2倍，保证整个前景物体全部被包含在包围盒中。2、第二种应用场景是用户没有指定前景目标：这种应用场景的具体处理方法如下：需要先获得背景的深度图片，然后让包含前后景的深度图与之相减，筛选得到两帧图中深度值本文档来自技高网...

【技术保护点】
1.一种像素级物体分割方法，包括如下步骤：步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；步骤S2，对包围盒区域中的彩色图像和深度图像进行预设尺度下的下采样，得到金字塔分辨率下的多组图像；步骤S3，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；步骤S4，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。

【技术特征摘要】
1.一种像素级物体分割方法，包括如下步骤：步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；步骤S2，对包围盒区域中的彩色图像和深度图像进行预设尺度下的下采样，得到金字塔分辨率下的多组图像；步骤S3，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；步骤S4，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。2.如权利要求1所述的一种像素级物体分割方法，其特征在于，于步骤S1中，若应用场景为用户指定前景目标，步骤S1具体步骤如下：对前景目标所在的区域划定包围盒；对包围盒内的像素的深度值出现的频率进行直方图统计，统计得到直方图的深度峰值段，并获得包围盒内深度值统计方差；根据包围盒内深度峰值段及包围盒内深度值统计方差对像素点进行处理，得到粗糙的前景物体分割结果。3.如权利要求1所述的一种像素级物体分割方法，其特征在于，于步骤S1中，若应用场景为用户没有指定前景目标，步骤S1具体步骤如下：获得背景的深度图像；利用包含前后景的深度图与之相减，得到粗糙的前景物体的物体分割结果。4.如权利要求1所述的一种像素级物体分割方法，其特征在于：于步骤S2中，图像金字塔分为原分辨率层图像、中间分辨率层图像以及低分辨率层图像，只需固定原分辨率层图像和低分辨率层图像，中间层次分辨率的图像均由前两者线性插值得到。5.如权利要求1所述的一种像素级物体分割方法，其特征在于：于步骤S3中，每层分辨率图像的优化采用雅克比迭代。6.如权利要求5所述的一种像...

【专利技术属性】
技术研发人员：林倞，黄浩洸，陈崇雨，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44