一种基于深度密度的RGBD图像语义分割优化方法技术

本发明专利技术公开了一种基于深度密度的RGBD图像语义分割优化方法，属于计算机图像处理领域。包括如下步骤：计算RGBD图像中以(x，y)像素点为中心的n×n范围内像素点的平均深度μx，y：

A Depth Density-Based Semantic Segmentation Optimization Method for RGBD Images

The invention discloses an optimization method of RGB image semantic segmentation based on depth density, which belongs to the field of computer image processing. It includes the following steps: calculating the average depth of the pixels in the n * N range centered on (x, y) pixels in RGBD images. y:

【技术实现步骤摘要】
一种基于深度密度的RGBD图像语义分割优化方法
本专利技术涉及计算机图像处理领域，特别涉及一种基于深度密度的RGBD图像语义分割优化方法。
技术介绍
RGBD是一种图像类型的，其实质是RGB+Depth，即在采集图像的过程中，会同时获取目标的深度信息(从目标表面到镜头的直线距离)，本专利中的RGBD图像时利用ToF(TimeofFly)技术来获取的，这类技术的特点是成像快，精度高，可以做到实时采集两类图像。缺点是深度图像的分辨率也比较低。深度卷积网络是深度学习领域的一个关键技术点，其基础是多层神经网络，区别是将原来神经网络的全连接转变为卷积操作，这样会提高网络前向和反向传播的效率，这样就可以在原有计算资源的基础上，通过增加网络的深度来实现更多数据特征的提取。全卷积网络是深度卷积网络的一种，一般是在分类网络的基础上进行改变行成的，其特点是整个网络中没有全连接层，从输入到输出都是卷积操作，这样的网络与原有的分类网络相比，具有更快的处理速度，而且参数更少。其用途一般是用于像素级的语义分割，其理论实质是对图像中所有的像素点进行分类。上采样操作是逆向卷积操作的一种说法，其实质是将特征图进行扩大尺寸操作，以获得目标尺寸的图像，主要的上采样操作包括全尺寸反卷积操作和双线性差值法。其中全尺寸反卷积操作可以获得任意尺寸大小的目标图像，而双线性插值法主要用于产生2倍于原图像尺寸的目标图像。目前，利用全卷积网络进行图像分割时，由特征图(热图Heatmap)恢复为原始图像尺寸，分割结果过于粗糙，边界不清晰。这主要是由于上采样过程中，很多细节特征丢失而造成像素分类不准，因此需要对上采样过程和采样结果进行优化。
技术实现思路
本专利技术提供一种基于深度密度的RGBD图像语义分割优化方法，可以利用深度图像来计算图片中每个位置的深度密度，利用深度密度来判断相邻区域是否属于同一物体，并以此进行目标物体的边界判定，将具有相近深度密度的像素归为同一类型，从而提高语义分割效果。一种基于深度密度的RGBD图像语义分割优化方法，包括如下步骤：计算RGBD图像中以(x，y)像素点为中心的n×n范围内像素点的平均深度μx，y：其中，dx，y为图像上(x，y)点的深度值，图像尺寸为h×w；计算RGBD图像中以(x，y)点为中心的，n×n范围内与(x，y)点的像素的深度方差σx，y：计算RGBD图像中以(x，y)点为中心的，n×n范围内与平均深度μx，y的深度方差将图像加入图像填充区域(padding)，即在原图像的基础上，外沿四周加上一圈像素边框，且padding的深度值为0，使图像尺寸变为(h+(n-1)/2，w+(n-1)/2)，得到待分割图像；对待分割图像进行处理：或其中，gaus(x，μ，σ)为高斯分布函数，denm(x，y)为将平均深度μx，y作为概率密度函数的位置参数，作为概率密度函数的尺度参数所作的处理；denc(x，y)为将dx，y作为概率密度函数的位置参数，而σx，y概率密度函数的尺度函数所作的处理；设立深度密度的范围，判定在同一密度范围内的像素点是否属于同一物体。更优地，在进行上述计算步骤前还包括：对RGBD图像构建用于分类的深度卷积网络，得到特征图；基于深度卷积网络建立全卷积网络：以深度卷积网络为基础，将深度卷积网络的全连接层转换为卷积层，以保留图像的二维信息；对深度卷积网络的结果进行反卷积操作，使图像恢复到原始图像的尺寸；逐个对像素分类以获取每个像素的类别，得到热图；对热图进行反卷积操作，使热图恢复到原始图像尺寸大小。本专利技术提供一种基于深度密度的RGBD图像语义分割优化方法，利用深度图像来计算图片中每个位置的深度密度，利用深度密度来判断相邻区域是否属于同一物体(根据深度密度来将图像中的像素进行聚类)，并以此进行目标物体的边界判定，将具有相近深度密度的像素归为同一类型，最终给出分割结果，使语义分割效果得到有效提升。附图说明图1为深度卷积网络的示意图；图2为全卷积网络的示意图；图3为反卷积的操作示意图；图4为full模式下反卷积操作的操作示意图；图5为基于反卷积操作进行热图恢复的操作示意图；图6为RGBD图像；图7为RGBD图像的像素深度分布图；图8为深度密度核操作示意图；图9为真值图；图10为全卷积网络分割结果示意图；图11为基于深度密度的RGBD图像语义分割优化后的示意图。具体实施方式下面结合附图，对本专利技术的一个具体实施方式进行详细描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。本专利技术实施例提供的一种基于深度密度的RGBD图像语义分割优化方法，包括如下步骤：1、构建用于分类的深度卷积网络模型：如图1所示，对于第一层“Conv1-3-64”，其中“conv”表示卷积层，“3”表示卷积核尺寸为3*3，“64”表示卷积后的输出通道数，也可以理解为卷积核的个数，构建分类网络主要用于建立后面的全卷积网络。2.基于分类网络建立全卷积网络如图2所示，这里要说明的是，分类网络与全卷积网络主要区别在于后面全连接网络，如图1中后三层“FC17”，“FC18”和“FC19”。全卷积网络以分类卷积神经网络为基础，将分类网络后面的全连接层转换为卷积层，以保留输入图像的二维信息；对分类网络的结果(特征图或热图)进行反卷积操作，使特征图恢复到原始图像的尺寸，最后通过逐个像素分类获取每个像素的类别，从而实现目标对象的语义分割。全卷积网络的结构如图2所示。3.利用全卷积网络的结果(热图)，进行反卷积操作，将热图恢复到原始图像尺寸大小如图3至图4所示，分类网络中的卷积层主要是获取高维特征，每层池化操作可以使图片缩小一半，全连接与传统神经网络相似作为权值训练，最后通过softmax输出概率最高类别。经过改造后，VGG-19中的全连接层全部换成卷积层，其中全连接层分别转换为1×1×4096(长、宽、通道)、1×1×*4096和1×1×class。最终可以获得与输入图像对应的热图。而热图的尺寸在经历过5次池化过程后，变成原图像大小的1/32。为了实现端到端的语义分割，因此需要将热图恢复到原始图像的尺寸，因此需要采用上采样操作。上采样(Upsample)是池化操作的逆过程，上采样后数据数量会增多。在计算机视觉领域，常用的上采样方法有3种，一个是双线性插值(bilinear)，这种方法特点是不需要进行学习，运行速度快，操作简单；一个是反卷积(Deconvolution)，即利用转置卷积核的方法，对卷积核进行180度翻转(结果都是唯一的)，注意不是转置操作；一个是反池化，在池化过程中记录坐标位置，然后根据之前坐标将元素填写进去，其他位置补0。本专利技术选择“反卷积+双线性插值”法实现上采样过程，如图3、图4所示，设原特征图的尺寸为n×n，那么采用差值法，则会将原始特征图的尺寸变为2n+1，然后设置2×2的卷积，对新特征图进行valid方式的卷积操作，最终会获得新的特征图，尺寸为2n。4.利用反卷积操作恢复热图如图5所示，因为分类网络中有5次池化操作，因此最后输出的特征图大小是原图的1/32，因此上采样操作针对池化后的结果进行反卷积，可以分别获得32倍、16倍、8倍、4倍和2倍的结果(与输入图像尺寸相同)如图5所示。这里分别称这些结果为FCN-32s，FCN-16s，本文档来自技高网...

【技术保护点】
1.一种基于深度密度的RGBD图像语义分割优化方法，其特征在于，包括如下步骤：计算RGBD图像中以(x，y)像素点为中心的n×n范围内像素点的平均深度μx，y：

【技术特征摘要】
1.一种基于深度密度的RGBD图像语义分割优化方法，其特征在于，包括如下步骤：计算RGBD图像中以(x，y)像素点为中心的n×n范围内像素点的平均深度μx，y：其中，dx，y为图像上(x，y)点的深度值，图像尺寸为h×w；计算RGBD图像中以(x，y)点为中心的，n×n范围内与(x，y)点的像素的深度方差σx，y：计算RGBD图像中以(x，y)点为中心的，n×n范围内与平均深度μx，y的深度方差将图像加入图像填充区域(padding)，且深度值为0，使图像尺寸变为(h+(n-1)/2，w+(n-1)/2)，得到待分割图像；对待分割图像进行处理：或其中，gaus(x，μ，σ)的为高斯分布函数，denm(x，y)为将平均深度μx，y作为概率密度函数的...

【专利技术属性】
技术研发人员：邓寒冰，许童羽，周云成，徐静，
申请(专利权)人：沈阳农业大学，
类型：发明
国别省市：辽宁,21