影像深度信息的优化方法与影像处理装置制造方法及图纸

本发明专利技术提供一种影像深度信息的优化方法与影像处理装置。获取基于左影像与右影像而产生的待修复深度图。将左影像或右影像进行超像素切割处理，而获取多个超像素。依据超像素内的像素信息，聚集超像素而获取多个影像分割。对待修复深度图内的破洞进行破洞填补处理，而获取已补洞深度图。利用影像分割所划分的范围、超像素所划分的范围、待修复深度图以及已补洞深度图，对待修复深度图的第一有效深度值以及已补洞深度图的第二有效深度值进行统计分析而获取多个优化深度值。本发明专利技术可改善影像深度信息因为无纹理区域的特性而产生错误偏差的现象，从而提高深度信息的精准度。

Optimization method of image depth information and image processing device

The invention provides an optimization method for image depth information and an image processing device. The depth map to be reconstructed based on the left image and the right image is obtained. The left image or right image is processed by super pixel, and multiple super pixels are obtained. Based on pixel information in super pixels, multiple pixels are clustered to get multiple images. The holes in the depth map were filled to fill holes, and the depth map of the filled holes was obtained. Using the range divided by image segmentation, the range divided by super pixels, the depth map to be repaired and the depth map of the filling hole, the first effective depth value of the repair depth map and the second effective depth value of the hole depth map are statistically analyzed and a number of optimized depth values are obtained. The invention can improve the error deviation of the image depth information due to the characteristics of the textureless region, thereby improving the accuracy of the depth information.

【技术实现步骤摘要】
影像深度信息的优化方法与影像处理装置
本专利技术涉及一种处理影像的方法及装置，尤其涉及一种优化深度信息的影像深度信息的优化方法与影像处理装置。
技术介绍
随着影像处理技术的蓬勃发展，立体视觉技术(StereoVision)已逐渐且广泛地应用于各种领域。立体视觉广义来说可包括两个阶段，前期阶段包括利用深度摄影机、立体摄影机或是利用相关的三维立体影像演算法等方式来产生深度信息，后期阶段为利用深度信息来产生不同视角的影像。由此可知，为了产生视觉体验较佳的立体影像，准确的深度信息是非常重要的。然而，虽然现今的技术可对深度图进行初步的平滑处理来改善深度图的准确度，但受限于有限的可参考信息与演算法复杂度不足，单纯利用相邻块对深度信息进行调整会有较大的误差。尤其是，在大区域的无纹理区域能够参考的深度值信息差异性过大，可能导致背景区域与物体区域的深度值区分不出来。此外，在背景前景类似的情况中，物体区域的深度值会因为邻近背景的深度渲染所影响，产生准确度不佳的深度图。也就是说，不同的深度信息产生演算法会具备不同的精确度与计算量。因此，如何在可允许的计算量与复杂度下产生精确的深度信息，并提高根据此深度信息所产生的三维影像的品质，为本领域技术人员所努力的方向之一。
技术实现思路
有鉴于此，本专利技术提供一种影像深度信息的优化方法与影像处理装置，可改善影像深度信息因为无纹理区域的特性而产生错误偏差的现象，从而提高深度信息的精准度。本专利技术提供一种影像深度信息的优化方法，适用于影像处理装置，所述方法包括下列步骤。首先，获取基于左影像与右影像而产生的待修复深度图。此待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于此待修复深度图上。将左影像与右影像其中之一进行超像素切割处理，而获取左影像与右影像其中之一的多个超像素(superpixels)。依据这些超像素内的像素信息，聚集这些超像素而获取多个影像分割(imagesegments)。对待修复深度图内的破洞进行破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图。接着，利用这些影像分割所划分的范围、这些超像素所划分的范围、待修复深度图以及已补洞深度图，对待修复深度图的第一有效深度值以及已补洞深度图的第二有效深度值进行统计分析而获取多个优化深度值。最后，依据这些优化深度值获取优化深度图。从另一观点来看，本专利技术提供一种影像处理装置，其包括记录多个模块的存储单元，以及一或多个处理单元。上述处理单元耦接存储单元，存取并执行存储单元中记录的所述模块，而所述模块包括待修复深度图获取模块、超像素切割模块、影像分割模块、补洞模块、深度优化模块，以及深度图产生模块。待修复深度图获取模块获取基于左影像与右影像而产生的待修复深度图。此待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于此待修复深度图上。超像素切割模块将左影像与右影像其中之一进行超像素切割处理，而获取左影像与右影像其中之一的多个超像素。影像分割模块依据这些超像素内的像素信息，聚集这些超像素而获取多个影像分割。补洞模块对待修复深度图内的破洞进行一破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图。深度优化模块利用影像分割所划分的范围、超像素所划分的范围、待修复深度图以及已补洞深度图，对待修复深度图的第一有效深度值以及已补洞深度图的第二有效深度值进行统计分析而获取多个优化深度值。深度图产生模块依据这些优化深度值获取优化深度图。基于上述，在本专利技术的实施例中，先依据左影像与右影像其中之一进行超像素分割而获取多个超像素，并依据各个超像素内的像素信息而聚合彼此邻近的超像素而获取多个影像分割。基于这些影像分割所划分的范围，本专利技术可将待修复深度图划分为多个待修复分割块。基于这些影像分割所划分的范围以及这些超像素所划分的范围，本专利技术可将已补洞深度图分别划分为多个已补洞分割块与多个超像素块。如此，本专利技术可依据待修复分割块内的深度信息的统计信息来识别出深度值不可靠的不可靠区域。此外，藉由使用待修复分割块内的深度信息的统计信息、已补洞分割块内的深度信息的统计信息，以及超像素块内的深度信息的统计信息，本专利技术可针对不可靠区域产生优化深度值。因此，本专利技术可将这些优化深度值填入不可靠区域内的破洞而产生优化深度图，从而提升深度信息的准确度。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明图1为依照本专利技术一实施例所示出的影像处理装置的方框图；图2为依照本专利技术一实施例所示出的影像深度信息的优化方法的流程图；图3A为依照本专利技术一实施例所示出的超像素的范例示意图；图3B为依照本专利技术一实施例所示出的超像素与影像分割的范例示意图；图4为依照本专利技术一实施例所示出的影像深度信息的优化方法的运作示意图；图5A与图5B为依照本专利技术一实施例所示出的产生优化深度值的流程图；图6为依照本专利技术一实施例所示出的产生优化深度值的范例示意图。附图标记：10：影像处理装置；14：存储单元；16：处理单元；141：待修复深度图获取模块；142：超像素切割模块；143：影像分割模块；144：补洞模块；145：深度优化模块；146：深度图产生模块；147：深度估测模块；Img_L：左影像；Img_R：右影像；P1～P25：像素；S_11、S_12、S1～S6、S7、S8、S9：超像素；D1、D2、D3、D4：影像分割；dm_1：原始深度图；dm_2：待修复深度图；dm_3：已补洞深度图；SP_1：超像素图；SP_2：影像分割图；d_opm：优化深度值；dm_4：优化深度图；dp_1：第一有效深度值；h1、h2、h3：破洞；b1、b2：待修复分割块；dp_2、dp_3、dp_4：第二有效深度值；b3、b4：已补洞分割块；b5、b6、b7：超像素块；S201～S206、S501～S512：步骤。具体实施方式本专利技术的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本专利技术的一部分，并未揭示所有本专利技术的可实施方式。更确切的说，这些实施例只是本专利技术中的装置与方法的范例。图1是依照本专利技术一实施例所示出的影像处理装置的方框图。请参照图1，本实施例的影像处理装置10为具有影像处理能力的计算机装置，例如是数码相机、移动电话、平板电脑、台式电脑、笔记本电脑或包含立体成像系统(未示出)的立体像机，在此不设限。也就是说，影像处理装置10可以是包括立体成像系统的影像获取装置。另外，影像处理装置10也可以是与具有立体成像系统的影像获取装置相互耦接的其他电子装置，本专利技术对此不设限。影像处理装置10包括存储单元14以及一个或多个处理单元(本实施例仅以处理单元16为例做说明，但不限于此)，其功能分述如下。存储单元14例如是任意型式的固定式或可移动式随机存取存储器(RandomAccessMemory，RAM)、只读存储器(Read-OnlyMemory，ROM)、闪存(FlashMemory)、硬盘或其他类似装置或这些装置的组合，用以存储数据与多个模块。上述模块包括深度估测模块142、块分布图获取模块144、无效深度移除模块146以及补洞模块148，这些模块例如是电脑程本文档来自技高网...

【技术保护点】
1.一种影像深度信息的优化方法，适用于影像处理装置，其特征在于，所述方法包括：获取基于左影像与右影像而产生的待修复深度图，其中所述待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于所述待修复深度图上；将所述左影像与所述右影像其中之一进行超像素切割处理，而获取所述左影像与所述右影像其中之一的多个超像素；依据所述多个超像素内的像素信息，聚集所述多个超像素而获取多个影像分割；对所述待修复深度图内的所述多个破洞进行破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图；利用所述多个影像分割所划分的范围、所述多个超像素所划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取多个优化深度值；以及依据所述多个优化深度值获取优化深度图。

【技术特征摘要】
1.一种影像深度信息的优化方法，适用于影像处理装置，其特征在于，所述方法包括：获取基于左影像与右影像而产生的待修复深度图，其中所述待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于所述待修复深度图上；将所述左影像与所述右影像其中之一进行超像素切割处理，而获取所述左影像与所述右影像其中之一的多个超像素；依据所述多个超像素内的像素信息，聚集所述多个超像素而获取多个影像分割；对所述待修复深度图内的所述多个破洞进行破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图；利用所述多个影像分割所划分的范围、所述多个超像素所划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取多个优化深度值；以及依据所述多个优化深度值获取优化深度图。2.根据权利要求1所述的影像深度信息的优化方法，其特征在于，所述左影像与所述右影像其中之一包括多个像素，且所述多个像素依据所述多个像素的像素值与像素位置而区分为所述多个超像素。3.根据权利要求1所述的影像深度信息的优化方法，其特征在于，依据所述多个超像素内的像素信息，聚集所述多个超像素而获取所述多个影像分割的步骤包括：统计所述多个超像素各自的直方图信息；以及依据所述多个超像素各自的所述直方图信息，合并所述多个超像素而形成所述多个影像分割。4.根据权利要求1所述的影像深度信息的优化方法，其特征在于，依据所述多个超像素内的像素信息，聚集所述多个超像素而获取所述多个影像分割的步骤包括：对所述多个超像素进行边缘检测，而获取所述多个超像素各自的边缘特性；以及依据所述多个超像素各自的所述边缘特性，合并所述多个超像素而形成所述多个影像分割。5.根据权利要求1所述的影像深度信息的优化方法，其特征在于，利用所述多个影像分割所划分的范围、所述多个超像素所划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取所述多个优化深度值的步骤包括：利用所述多个影像分割所划分的范围将所述待修复深度图分成多个待修复分割块；依据所述多个待修复分割块的尺寸以及所述多个待修复分割块内的所述多个第一有效深度值的数量与所述多个无效深度值的数量，判断所述多个待修复分割块是否为需优化块；以及若所述多个待修复分割块其中之一为所述需优化块，决定对所述多个待修复分割块其中之一内的所述多个破洞产生所述多个优化深度值。6.根据权利要求5所述的影像深度信息的优化方法，其特征在于，依据所述多个待修复分割块的尺寸以及所述多个待修复分割块内的所述多个第一有效深度值的数量与所述多个无效深度值的数量，判断所述多个待修复分割块为所述可靠块或所述需优化块的步骤包括：若所述多个待修复分割块的尺寸大于块临界值且所述多个待修复分割块内的所述多个无效深度值的数量大于所述多个第一有效深度值的数量与一权重因子的乘积，判定所述多个待修复分割块为所述不可靠区域。7.根据权利要求1所述的影像深度信息的优化方法，其特征在于，利用所述多个影像分割所划分的范围、所述多个超像素所划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取所述多个优化深度值的步骤包括：利用所述多个影像分割所划分的范围将所述已补洞深度图分成多个已补洞分割块；以及依据所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计值，决定所述已补洞深度图的所述多个已补洞分割块其中之一内的所述多个第二有效深度值是否需检验。8.根据权利要求7所述的影像深度信息的优化方法，其特征在于，利用所述多个影像分割所划分的范围、所述多个超像素所划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取所述多个优化深度值的步骤包括：利用所述多个影像分割所划分的范围将所述待修复深度图分成多个待修复分割块；以及若所述多个已补洞分割块其中之一内的所述多个第二有效深度值需检验，依据所述多个待修复分割块其中之一内的所述多个第一有效深度值的第一统计信息以及所述多个已补洞分割块其中之一内的所述多个第二有效深度值的第二统计信息，决定使用所述第一统计信息或所述第二统计信息来获取所述多个优化深度值。9.根据权利要求8所述的影像深度信息的优化方法，其特征在于，依据所述多个待修复分割块其中之一内的所述多个第一有效深度值的所述第一统计信息以及所述多个已补洞分割块其中之一内的所述多个第二有效深度值的所述第二统计信息，决定使用所述第一统计信息或所述第二统计信息来获取所述多个优化深度值的步骤包括：若所述第一统计信息与所述第二统计信息符合预设条件，使用所述第一统计信息来获取所述多个优化深度值；以及若所述第一统计信息与所述第二统计信息不符合所述预设条件，使用所述第二统计信息来获取所述多个优化深度值。10.根据权利要求9所述的影像深度信息的优化方法，其特征在于，所述预设条件包括所述多个待修复分割块其中之一内的所述多个第一有效深度值的有效比例大于有效临界值，所述多个待修复分割块其中之一内的所述多个第一有效深度值的统计众数小于所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计众数，以及所述多个待修复分割块其中之一内的所述多个第一有效深度值的统计标准差小于所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计标准差。11.根据权利要求7所述的影像深度信息的优化方法，其特征在于，利用所述多个影像分割所划分的范围、所述多个超像素所划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取所述多个优化深度值的步骤包括：利用所述多个超像素所划分的范围将所述已补洞深度图分成多个超像素块；以及若所述多个已补洞分割块其中之一内的所述多个第二有效深度值并非为需检验，依据所述多个已补洞分割块其中之一内的所述多个超像素块其中之一内的所述多个第二有效深度值的第三统计信息，判断使用所述第二统计信息或所述第三统计信息来获取所述多个优化深度值。12.根据权利要求11所述的影像深度信息的优化方法，其特征在于，依据所述多个已补洞分割块其中之一的所述多个超像素块其中之一内的所述多个第二有效深度值的所述第三统计信息，判断使用所述第二统计信息或所述第三统计...

【专利技术属性】
技术研发人员：洪硕泽，李运锦，张文彦，
申请(专利权)人：聚晶半导体股份有限公司，
类型：发明
国别省市：中国台湾,71