深度图/视差图的后处理方法和装置制造方法及图纸

一种深度图/视差图的后处理方法和装置，在进行不整齐边缘区域检测时，采用边缘信息与分块信息相结合的思路。对彩色图像进行图像分块时，先对彩色图像进行超像素分割；将灰度范围分为预设个区间，对于每个超像素，统计得到所有像素点落在所述区间内的直方图；判断当前超像素中，区间分布值最大的区间所含的像素数与当前超像素中的全部像素数的比值是否小于第一阈值，如果是，则采用基于颜色分块的方法对当前超像素进行进一步分割。在保证图像处理速度的同时，提高彩色图像分割的准确性，从而提高不整齐边缘区域检测的准确性。

Post processing method and device for depth map / parallax image

The invention relates to a post-processing method and a device for depth map / disparity map, which adopts the method of combining edge information and block information in the detection of irregular edge regions. Image block of color image, the color image super pixels segmentation; gray range is divided into a predetermined interval for each super pixels, statistics all pixels fall in the interval histogram; determine the current super pixels, pixel value interval distribution with maximum interval the ratio of the number of all pixels in the current super is smaller than the first threshold, if yes, the method of color block based on the current super pixels for further segmentation. At the same time, the accuracy of color image segmentation can be improved while the image processing speed is improved.

【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及三维图像处理
，具体涉及一种深度图/视差图的后处理方法和装置。
技术介绍
随着技术的发展及人们需求的不断提升，对外部世界的信息获取变得日益重要，从最早的黑白相片到彩色相片，再到能够记录时间信息的视频，记录和展现人们所处的世界的手段在不断地改进，而近年来开始出现的3D技术更是将人类感知世界的方式进行了更大的改进，3D电影、裸眼电视、虚拟现实、增强现实等应用极大地丰富了人们的生活，同时也使得一些科学研究变得更加方便。而这些应用区别于以往应用的最关键的地方就是多了“深度”信息，营造了一种三维的视觉感受，使得临场感增强。因此，对于深度信息的诸多研究开始成为热点。对于深度信息的获取，目前已有多种方法，主要可分为接触式三维扫描和非接触式三维扫描两种方式，其中接触式三维扫描仪主要通过与被测物体实际接触而测量物体的三维坐标等信息，进而获取其深度，此方法精度非常高，但是由于其与物体接触的特性，容易对物体造成损伤，同时耗时比较长，因此较少使用；另一种方法为非接触式的三维扫描，该方法不用与被测物体接触便可测得物体的深度信息，其又可分为主动式扫描与被动式扫描两类，主动式扫描是指通过主动发射信号或能量来测量深度信息的方法，而被动式扫描则不需要发射能量，只需通过图像的信息来计算得到深度信息。常见的主动式扫描有通过激光测距仪实现的时差测距、三角测距等，以及通过投影图像实现的结构光源法，常见的被动式扫描有立体匹配、色度成形法等，主要通过算法计算实现。无论是主动扫描还是被动扫描，都会生成一幅与被测场景对应的深度图，该图像为灰度图像，通过颜色的深浅来表示物体深度的远近。由上所述可知，深度图的质量对后期的应用将产生巨大的影响，然而目前主流的获取深度的方法中，所得到的深度图都会存在诸多缺陷，例如空洞黑点、物体边缘不整齐等现象。对于主动式扫描得到的深度图，一般只是通过滤波的方法去除图像中存在的噪点，而相对于主动扫描，被动扫描中的立体匹配则多出一个视角，因而可以利用两个视角的信息来修正深度图，一般是通过左右深度图进行一致性检测，检测到不一致的区域，然后将这些区域进行滤波等处理。尽管立体匹配中的深度图(或视差图)后处理过程比主动扫描式的要更加细化，但仍然存在黑洞以及边缘不整齐的现象。综合上述所述可以得出，深度信息作为目前诸多前沿领域和新型应用的关键技术，已受到广泛的关注并有大量的方法用于深度信息的获取，然而深度图的质量由于技术所限，会存在很多问题，已有一些方法开始研究深度图的后处理，然而处理过后的图像仍然存在黑色洞点、物体边缘轮廓不整齐等现象，这将严重影响后续的应用。因此，深度图的后处理是一个亟待解决和完善的问题。
技术实现思路
根据本申请的第一方面，本申请提供一种深度图/视差图的后处理方法，包括：输入待处理图像，所述待处理图像为深度图或视差图；对所述待处理图像进行边缘提取，以得到边缘信息；并对所述待处理图像对应的彩色图像进行图像分块，以得到分块信息；对所述彩色图像进行图像分块包括：对彩色图像进行超像素分割；将灰度范围分为预设个区间，对于每个超像素，统计得到所有像素点落在所述区间内的直方图；判断当前超像素中，区间分布值最大的区间所含的像素数与当前超像素中的全部像素数的比值是否小于第一阈值，如果是，则采用基于颜色分块的方法对当前超像素进行进一步分割；根据所述边缘信息和分块信息得到待处理图像的不整齐边缘区域；对所述不整齐边缘区域进行修复。根据本申请的第二方面，本申请提供一种深度图/视差图的后处理装置，包括：输入模块，用于输入待处理图像，所述待处理图像为深度图或视差图；不整齐边缘检测模块，其包括边缘提取单元、图像分块单元、不整齐边缘检测单元；边缘提取单元用于对所述待处理图像进行边缘提取，以得到边缘信息；图像分块单元用于对所述待处理图像对应的彩色图像进行图像分块，以得到分块信息；不整齐边缘检测单元用于根据所述边缘信息和分块信息得到待处理图像的不整齐边缘区域；其中，图像分块单元对所述彩色图像进行图像分块时，具体为：图像分块单元对彩色图像进行超像素分割；将灰度范围分为预设个区间，对于每个超像素，统计得到所有像素点落在所述区间内的直方图；判断当前超像素中，区间分布值最大的区间所含的像素数与当前超像素中的全部像素数的比值是否小于第一阈值，如果是，则采用基于颜色分块的方法对当前超像素进行进一步分割；不整齐边缘修复模块，用于对所述不整齐边缘区域进行修复。附图说明图1为本申请一种实施例中深度图/视差图的后处理装置的模块示意图；图2为本申请一种实施例中深度图/视差图的后处理方法的流程示意图；图3为本申请一种实施例中洞点填补的示意图；图4为本申请一种实施例中不整齐边缘区域的检测流程示意图；图5为本申请一种实施例中不整齐边缘区域的修复流程示意图；图6为本申请一种实施例中不整齐边缘区域修复前后的对比示意图；图7为Middlebury实验测试图像；图8为局部立体匹配算法中应用本实施例提供的方法的前后对比结果；图9为全局立体匹配算法中应用本实施例提供的方法的前后对比结果；图10为Kinect深度图应用本实施例提供的方法的前后对比效果图。具体实施方式本申请实施例提供的深度图/视差图的后处理方法和装置，弥补了目前对于深度图/视差图优化中的不足，提出一种新的深度图/视差图后处理优化方法，提高立体匹配的视差图、以及主动扫描获得的深度图的质量。通过本申请提供的深度图/视差图的后处理方法和装置，常见的存在于深度图/视差图中的问题区域和错误点都能被较好的修正，与目前已有的视差图后处理方法相比，能够发现并解决更多的问题区域，同时可以支持基于单目相机获得的深度图，具有更广泛的适用性，同时可以在很大程度上提升视差图/深度图的质量。下面通过具体实施方式结合附图对本申请作进一步详细说明。请参考图1，本实施例提供的深度图/视差图的后处理装置包括输入模块10、预处理模块20、洞点检测模块30、洞点填补模块40、不整齐边缘检测模块50和不整齐边缘修复模块60。其中，不整齐边缘检测模块50包括边缘提取单元501、图像分块单元502和不整齐边缘检测单元503。请参考图2，为本实施例提供的深度图/视差图的后处理方法的流程示意图，该方法包括下面步骤：步骤1.1：输入模块10输入待处理图像，待处理图像可以是深度图或视差图。...

【技术保护点】
一种深度图/视差图的后处理方法，其特征在于，包括：输入待处理图像，所述待处理图像为深度图或视差图；对所述待处理图像进行边缘提取，以得到边缘信息；并对所述待处理图像对应的彩色图像进行图像分块，以得到分块信息；对所述彩色图像进行图像分块包括：对彩色图像进行超像素分割；将灰度范围分为预设个区间，对于每个超像素，统计得到所有像素点落在所述区间内的直方图；判断当前超像素中，区间分布值最大的区间所含的像素数与当前超像素中的全部像素数的比值是否小于第一阈值，如果是，则采用基于颜色分块的方法对当前超像素进行进一步分割；根据所述边缘信息和分块信息得到待处理图像的不整齐边缘区域；对所述不整齐边缘区域进行修复。

【技术特征摘要】
【国外来华专利技术】1.一种深度图/视差图的后处理方法，其特征在于，包括：
输入待处理图像，所述待处理图像为深度图或视差图；
对所述待处理图像进行边缘提取，以得到边缘信息；并对所述待处理图像
对应的彩色图像进行图像分块，以得到分块信息；
对所述彩色图像进行图像分块包括：对彩色图像进行超像素分割；将灰度
范围分为预设个区间，对于每个超像素，统计得到所有像素点落在所述区间内
的直方图；判断当前超像素中，区间分布值最大的区间所含的像素数与当前超
像素中的全部像素数的比值是否小于第一阈值，如果是，则采用基于颜色分块
的方法对当前超像素进行进一步分割；
根据所述边缘信息和分块信息得到待处理图像的不整齐边缘区域；
对所述不整齐边缘区域进行修复。
2.如权利要求1所述的方法，其特征在于，当所述待处理图像为深度图时，
在输入深度图后，还包括先对所述深度图中的非洞点进行反相处理的步骤。
3.如权利要求1所述的方法，其特征在于，根据所述边缘信息和分块信息
得到待处理图像的不整齐边缘区域，具体为：根据所述边缘信息和分块信息判
断出不整齐边缘，以所述不整齐边缘上的任意一点为中心构造方形窗口，将所
述不整齐边缘将方形窗口划分后面积较小的部分作为不整齐边缘区域。
4.如权利要求3所述的方法，其特征在于，对所述不整齐边缘区域进行修
复，具体为：采用引导滤波器系数作为滤波核系数的加权中值滤波方法对所述
不整齐边缘区域进行修复。
5.如权利要求4所述的方法，其特征在于，所述引导滤波器系数为：
Wp,q(I)1|w|2Σp,q∈w(1+(Ip-u)(Iq-u)Σ+ϵU)]]>其中，p、q为方形窗口中的像素点，|w|为方形窗口中的像素总数，I为引
导图像，ε为平滑系数，U为对应的单位矩阵；
当待处理图像为视差图时，采用双目图像作为引导图，Ip、Iq为六维向量，
u为六维均值向量，Σ为6*6互相关矩阵；
当待处理图像为深度图时，采用单目图像作为引导图，Ip、Iq为三维向量，

\tu为三维均值向量，Σ为3*3互相关矩阵。
6.如权利要求1至5中任一项所述的方法，其特征在于，对所述待处理图
像进行边缘提取前，还包括对所述待处理图像进行洞点检测和填补的步骤，洞
点检测和填补的步骤包括：
将视差值小于第二阈值的像素点定义为低信任度点；
对于所述低信任度点，当该点的视差值比其周围邻域中的点的视差值小第
二阈值时，确定该点为洞点；按此方式检测出待处理图像中的所有洞点；
检测到当前洞点的周围邻域中的点都为非洞点时，采用周围邻域中视差值
最小的点来填补当前洞点；检测到当前洞点的周围邻域中存在洞点时，采用周
围邻域中视差值最大的点来填补当前洞点；按此方式对待处理图像中的所有洞
点进行填补。
7.一种深度图/视差图的后处理装置，其特征在于，包括：
输入模块，用于输入待处理图像，所述待处理图...

【专利技术属性】
技术研发人员：焦剑波，王荣刚，王振宇，王文敏，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44