一种RGB‑D图像变尺度超体素分割方法技术

本发明专利技术公开了一中面向RGB‑D图像数据的变尺度超体素分割方法，使用泊松碟采样在数据中选择种子点，然后根据数据点和各种子点间的颜色距离和空间距离进行迭代聚类，获得初始超体素分割结果，以初始分割得到的超体素为顶点，超体素的邻接关系为边建立无向图，使用基于图论的方法进行超体素融合，在同一个RGB‑D图像中得到尺度大小不一的超体素分割结果，实现变尺度超体素分割。本发明专利技术方法属于数据预处理，分割得到的超体素在数据一致性高的区域得到大尺度超体素，在数据一致性差的地方得到小尺度超体素，更符合人类视觉认知特性。

A RGB D image segmentation method of super plain body

The invention discloses a split method for RGB variable scale D image data in a super body, using Poisson disk sampling data in the selected seed point, then the iterative clustering according to the data points and the seed point between the color distance and spatial distance, initial super voxel segmentation results obtained by the initial segmented super voxel vertex adjacency super voxel as a undirected graph, using graph theory method based on super voxel fusion, super body a split result size in the same RGB D images, realize the variable scale super voxel segmentation. The invention belongs to a method of data preprocessing, ultra large scale super voxel by voxel in the data consistency area divided by the small scale super voxel data consistency in a poor place, more consistent with human visual perception characteristics.

【技术实现步骤摘要】
一种RGB-D图像变尺度超体素分割方法
本专利技术涉及一种超体素分割方法，特别是一种适用于RGB-D图像的变尺度超体素分割方法。
技术介绍
随着传感器技术的进步，RGB-D图像的获取成本越来越低，如何更有效的对RGB-D图像进行预处理是近年来计算机视觉的一个重要研究内容。为了充分利用RGB-D图像中的三维几何信息，与二维图像超像素过分割的概念类似，将RGB-D图像过分割为超体素是一种行之有效的预处理方式，能够有效的减少后续算法处理的数据量。目前常用的超体素分割算法在尺度参数确定后的得到的各超体素大小一致性较高，如果后续需要进行多尺度分析，则通过设置不同的尺度因子控制超体素的大小，这样在分析每个尺度时都要计算得到一种尺度的超体素分割结果，从而增加了计算量。本专利技术基于变尺度分析的思想，在进行超体素分割时，把数据一致性高的区域分割成大尺度的超体素，数据一致性差的区域分割成小尺度超体素，从而根据数据局部分布的，自适应的将RGB-D数据分割成不同尺度的超体素，使后续算法可以在一个过分割数据上进行变尺度计算，减小计算量。
技术实现思路
本专利技术的目的在于提供一种RGB-D图像变尺度超体素分割方法，能够较好的对RGB-D图像进行过分割预处理。实现本专利技术目的的技术解决方案为：一种RGB-D图像变尺度超体素分割方法，包括以下步骤：步骤1、种子点选取，设一帧RGB-D图像数据为P，分辨率为m行n列，每个数据点包含3个颜色通道(r,g,b)和1个深度通道(d)。从P中随机选取一个点p0作为初始种子点，设置半径阈值R作为待生成种子点间的最小距离，使用泊松碟采样算法在P中采样得到种子点集合；种子点选取具体包括以下步骤：步骤1-1、在一帧RGB-D图像数据P中随机选取一个点p0作为初始种子点，将活跃采样点队列L1初始化为空，把p0加入L1，将非活跃采样点队列L2初始化为空；步骤1-2、判断活跃采样点队列L1是否为空，如果L1不为空，则从L1中出队一个点pi，以pi为圆心，R和2R为半径的同心圆区域内随机选择候选采样点，若候选采样点与已有种子点的距离大于R则将其加入L1；如果尝试K次仍没有符合条件的候选采样点，则将pi从L1中删除，并加入L2；其中R采用像素坐标单位，K为预设的数值；步骤1-3、L2中的点即为所选种子点。步骤2、超体素预分割，将数据中各点的颜色空间从RGB转换为Lab，深度值d转换为三维空间坐标(x,y,z)，以各种子点为聚类中心，综合颜色距离和三维空间距离迭代计算非种子点与种子点间的距离，距离种子点最近的点与该种子点聚为一类，得到初始超体素分割结果；对超体素预分割具体包括以下步骤：步骤2-1、将RGB-D图像中点的深度值转换为三维空间坐标，设P中第i行第j列的点为pij，其深度值为dij，使用式(1)将深度值转换为三维空间坐标：其中f为摄像机的焦距，(cx,cy)为图像的中心坐标，用标准的颜色空间转换公式将P中各点的RGB颜色转换为Lab颜色，将P中的点都表示为6维向量[l,a,b,x,y,z]；步骤2-2、以步骤1得到的个种子点为初始聚类中心，进行区域搜索聚类，计算各聚类中心2R*2R邻域范围内的点与该聚类中心的距离，将每一个非聚类中心点归类于和它特征距离最小的聚类中心以完成第一次聚类过程，P中两点pi和pj之间的特征距离度量公式如下：式(2)中，dlab为颜色距离，dxyz为空间距离，λ为用于决定颜色信息和空间距离信息的权重，λ越大空间距离越重要，λ越小颜色距离越重要；步骤2-3、迭代聚类过程，根据步骤2-2第一次聚类的结果，重新计算每个类的聚类中心；新的聚类中心特征值为每一类所有点特征的平均值，然后在一类中寻找与新的聚类中心特征值最接近的点作为新的聚类中心点，按照2-2中特征距离计算和归类方法重新计算各非聚类中心点所属类别；迭代k次结束；迭代计算结束后，每一类中的点即形成一个初始超体素。步骤3、超体素融合，以初始超体素为顶点，邻接超体素间建立边构造无向图G＝(V,E)，使用各初始超体素的Lab颜色空间距离和法向量方向夹角度量相邻超体素间的差异，利用类内差异最小化和类间差异最大化思想融合初始超体素，得到变尺度超体素。超体素融合，具体包括以下步骤：步骤3-1、设初始分割的得到的超体素集合为C，每个超体素为ci，以超体素ci为顶点vi建立顶点集合V，有公共边界的相邻超体素vi，vj间建立边eij形成边集E，以V和E构建无向图G；根据P中点的三维空间坐标，使用标准的k近邻点坐标协方差矩阵主成分分解方法计算各点的法向量，然后用式(5)给G的每条边赋以权值w(vi,vj)其中，lmax分别为超体素ci中所有点的平均亮度和最大亮度，θij为超体素ci和cj的法向量夹角，超体素的法向量取为该超体素中所有点的法向量均值，α为权重因子；步骤3-2、对初始超体素进行合并，将合并前各超体素初始化为一个区域Ai，vk和vl是区域Ai中的两个超体素，定义内部不相似度为该区域最小生成树的最大边，如式(7)所示Int(Ai)＝maxw(vk,vl),vk,vl∈Ai,(vk,vl)∈E(7)用式(8)定义两个区域Ai和Aj的外部不相似度，其中vm是区域Ai中的超体素，vn是区域Aj中的超体素Dif(Ai,Aj)＝minw(vm,vn),vm∈Ai,vn∈Aj,(vm,vn)∈E(8)MInt(Ai,Aj)为Ai和Aj这两个区域的最小内部不相似度，之后用式(9)计算MInt(Ai,Aj)＝min((Int(Ai)+τ(Ai)),(Int(Aj+τ(Aj)))(9)其中τ(Ai)＝e/|Ai|，|Ai|为区域Ai包含点的个数，e为设定的常数；之后对两个区域的外部不相似度和内部不相似度进行比较，如果满足式(10)则合并这两个区域，否则不合并MInt(Ai,Aj)<Dif(Ai,Aj)(10)区域合并过程一直进行到P中的区域没有可以合并的为止，得到变尺度超体素。本专利技术与现有技术相比，其显著优点为：(1)本专利技术采用泊松碟采样方法选择初始种子点，与均匀网格采样方法相比，该方法更符合视锥细胞在视网膜上的分布特性，有助于在不均匀的三维数据点集中均匀采样；(2)本专利技术在颜色的基础上融合深度值和法向量等几何信息，更适合处理RGB-D类型的数据；(3)本专利技术方法通过一次计算在同一帧RGB-D数据上分割得到不同尺度的超体素，明显区别于一次计算只能在同一帧数据上得到尺度较一致的超体素的过分割方法，更有利于在减小后续算法的计算量和多尺度分析。下面结合附图对本专利技术做进一步说明。附图说明图1为本专利技术的算法预分割与融合后的变尺度超体素分割结果。图2为本专利技术的RGB-D图像变尺度超体素分割方法流程图。具体实施方式本专利技术的一种RGB-D图像变尺度超体素分割方法，包括以下步骤：步骤1、种子点选取，设一帧RGB-D图像数据为P，分辨率为m行n列，每个数据点的信息包含3个颜色通道(r,g,b)和1个深度通道(d)。从P中随机选取一个点p0作为初始种子点，设置半径阈值R作为待生成种子点间的最小距离，使用泊松碟采样算法在P中采样得到种子点集合。具体包括以下步骤：步骤1-1、在P中随机选取一个点p0作为初始种子点，将活跃采样点队列L1初始化为空，把p0加入L1，将非活跃采样点队本文档来自技高网...

【技术保护点】
一种RGB‑D图像变尺度超体素分割方法，其特征在于，包括以下步骤：步骤1、种子点选取，设一帧RGB‑D图像数据为P，分辨率为m行n列，每个数据点的信息包含3个颜色通道(r,g,b)和1个深度通道(d)；从P中随机选取一个点p0(数字0为下标)作为初始种子点，设置半径阈值R作为待生成种子点间的最小距离，使用泊松碟采样算法在P中采样得到种子点集合；步骤2、对超体素进行预分割，将数据中各点的颜色空间从RGB转换为Lab，将深度值d转换为三维空间坐标(x,y,z)，之后以各种子点为聚类中心，综合颜色距离和三维空间距离迭代计算非种子点与种子点间的距离，得到初始超体素分割结果；步骤3、对超体素进行融合，以初始超体素为顶点，各超体素间邻接关系为边构造无向图G＝(V,E)，使用各初始超体素的Lab颜色空间距离和法向量方向夹角度量相邻超体素间的差异，通过合并初始超体素得到变尺度超体素，完成了对RGB‑D图像变尺度超体素的分割。

【技术特征摘要】
1.一种RGB-D图像变尺度超体素分割方法，其特征在于，包括以下步骤：步骤1、种子点选取，设一帧RGB-D图像数据为P，分辨率为m行n列，每个数据点的信息包含3个颜色通道(r,g,b)和1个深度通道(d)；从P中随机选取一个点p0(数字0为下标)作为初始种子点，设置半径阈值R作为待生成种子点间的最小距离，使用泊松碟采样算法在P中采样得到种子点集合；步骤2、对超体素进行预分割，将数据中各点的颜色空间从RGB转换为Lab，将深度值d转换为三维空间坐标(x,y,z)，之后以各种子点为聚类中心，综合颜色距离和三维空间距离迭代计算非种子点与种子点间的距离，得到初始超体素分割结果；步骤3、对超体素进行融合，以初始超体素为顶点，各超体素间邻接关系为边构造无向图G＝(V,E)，使用各初始超体素的Lab颜色空间距离和法向量方向夹角度量相邻超体素间的差异，通过合并初始超体素得到变尺度超体素，完成了对RGB-D图像变尺度超体素的分割。2.根据权利要求1所述的RGB-D图像变尺度超体素分割方法，其特征在于，步骤1中种子点选取具体包括以下步骤：步骤1-1、在一帧RGB-D图像数据P中随机选取一个点p0作为初始种子点，将活跃采样点队列L1初始化为空，把p0加入L1，将非活跃采样点队列L2初始化为空；步骤1-2、判断活跃采样点队列L1是否为空，如果L1不为空，则从L1中出队一个点pi，以pi为圆心，R和2R为半径的同心圆区域内随机选择候选采样点，若候选采样点与已有种子点的距离大于R则将其加入L1；如果尝试K次仍没有符合条件的候选采样点，则将pi从L1中删除，并加入L2；其中R采用像素坐标单位，K为预设的数值；步骤1-3、L2中的点即为所选种子点。3.根据权利要求1或2所述的RGB-D图像变尺度超体素分割方法，其特征在于，步骤2中对超体素预分割具体包括以下步骤：步骤2-1、将RGB-D图像中点的深度值转换为三维空间坐标，设P中第i行第j列的点为pij，其深度值为dij，使用式(1)将深度值转换为三维空间坐标：其中f为摄像机的焦距，(cx,cy)为图像的中心坐标，用标准的颜色空间转换公式将P中各点的RGB颜色转换为Lab颜色，将P中的点都表示为6维向量[l,a,b,x,y,z]；步骤2-2、以步骤1得到的个种子点为初始聚类中心，进行区域搜索聚类，计算各聚类中心2R*2R邻域范围内的点与该聚类中心的距离，将每一个非聚类中心点归类于和它特征距离最小的聚类中心以完成第一次聚类过程，P中两点pi和pj之间的特征距离度量公式如下：

【专利技术属性】
技术研发人员：袁夏，徐鹏，周宏扬，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32