图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了图像处理方法、装置、电子设备及存储介质，该方法包括：确定所有用于确定待优化区域的区域，所有用于确定待优化区域的区域包括以下项中的至少一项：至少一个低置信度区域、至少一个与弱纹理区域相对应的区域、至少一个与重复纹理区域相对应的区域；基于所有用于确定待优化区域的区域，确定视差图中的待优化区域；对待优化区域中的像素的视差值进行优化，得到经过优化的视差图。实现了准确地确定视差图中的待优化区域，对视差图中的待优化区域中的像素的视差值进行优化，以对视差图进行准确地优化，得到具有较好的优化效果的经过优化的视差图。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质
本申请涉及计算机领域，具体涉及图像处理方法、装置、电子设备及存储介质。
技术介绍
双目立体视觉在工业检测、航空航天、机器人导航等领域均得到了广泛的运用。双目立体视觉通过计算同一场景下空间点在两个图像上的视差来恢复场景的三维深度信息。立体匹配是双目立体视觉中的关键环节，立体匹配的结果直接影响三维重构效果，立体匹配依赖于视差图。在通过立体匹配算法对用于生成视差图的两个图像进行立体匹配得到的视差图中，经常出现在视差图中的与用于生成视差图的图像中的一些区域例如弱纹理区域相对应的区域中的视差值不准确的情况。因此，在计算出视差图之后，如何准确地确定视差图中的需要优化的待优化区域，对视差图中的待优化区域中的像素的视差值进行优化成为一个需要解决的问题。
技术实现思路
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质。本申请实施例提供一种图像处理方法，包括：确定视差图中的所有用于确定待优化区域的区域，所有用于确定待优化区域的区域包括以下项中的至少一项：至少一个低置信度区域、至少一个与弱纹理区域相对应的区域、至少一个与重复纹理区域相对应的区域，其中，低置信度区域通过用于生成所述视差图的立体匹配算法输出的视差图的置信度矩阵而确定，弱纹理区域、重复纹理区域通过对用于生成所述视差图的图像分别进行弱纹理区域检测、重复纹理区域检测而确定；基于所有用于确定待优化区域的区域，确定视差图中的待优化区域；对所述待优化区域中的像素的视差值进行优化，得到经过优化的视差图。在一些实施例中，基于所有用于确定待优化区域的区域，确定所述视差图中的待优化区域包括：确定所有用于确定待优化区域的区域的并集；将确定的并集确定为待优化区域。在一些实施例中，对所述待优化区域中的像素的视差值进行优化，得到经过优化的视差图包括：利用连通域提取算法确定所述待优化区域中的所有连通区域；确定所有连通区域中的目标连通区域；对于每一个目标连通区域，对所述目标连通区域进行形态学梯度提取，以确定所述目标连通区域的边缘；基于所述目标连通区域的边缘占据的区域中的像素的原始视差值，计算所述目标连通区域中的每一个像素的目标视差值；将所述目标连通区域中的每一个像素的视差值修改为每一个像素的目标视差值。在一些实施例中，确定所有连通区域中的目标连通区域包括：将所有连通区域中的面积大于面积阈值的连通区域确定为目标连通区域。在一些实施例中，基于所述目标连通区域的边缘占据的区域中的像素的原始视差值，计算所述目标连通区域中的每一个像素的目标视差值包括：基于所述目标连通区域的边缘占据的区域中的所有目标像素的原始视差值，计算所述目标连通区域中的每一个像素的目标视差值，其中，目标像素为具有的原始视差值处于预设合理区间内的像素。在一些实施例中，基于所述目标连通区域的边缘占据的区域中的所有目标像素的原始视差值，计算所述目标连通区域中的每一个像素的目标视差值包括：计算所述目标连通区域的边缘占据的区域中的所有目标像素的原始视差值的平均值；将所述平均值作为所述目标连通区域中的每一个像素的目标视差值。在一些实施例中，所述方法还包括：获取用于生成视差图的图像中的与经过优化的视差图中的待平滑区域相对应的区域的特征信息；基于所述特征信息，利用引导滤波算法和快速双边滤波算法对经过优化的视差图中的待平滑区域进行平滑处理。本申请实施例提供一种图像处理装置，包括：关联区域确定单元，被配置为确定所有用于确定待优化区域的区域，所有用于确定待优化区域的区域包括以下项中的至少一项：至少一个低置信度区域、至少一个与弱纹理区域相对应的区域、至少一个与重复纹理区域相对应的区域，其中，低置信度区域基于用于生成所述视差图的立体匹配算法输出的所述视差图的置信度矩阵而确定，弱纹理区域、重复纹理区域通过对用于生成所述视差图的图像分别进行弱纹理区域检测、重复纹理区域检测而确定；待优化区域确定单元，被配置为基于所有用于确定待优化区域的区域，确定视差图中的待优化区域；视差图优化单元，被配置为对所述待优化区域中的像素的视差值进行优化，得到经过优化的视差图。在一些实施例中，待优化区域确定单元进一步被配置为确定所有用于确定待优化区域的区域的并集；将确定的并集确定为待优化区域。在一些实施例中，视差图优化单元包括：连通区域优化子单元，被配置为利用连通域提取算法确定所述待优化区域中的所有连通区域；确定所有连通区域中的目标连通区域；对于每一个目标连通区域，对所述目标连通区域进行形态学梯度提取，以确定所述目标连通区域的边缘；基于所述目标连通区域的边缘占据的区域中的像素的原始视差值，计算所述目标连通区域中的每一个像素的目标视差值；将所述目标连通区域中的每一个像素的视差值修改为每一个像素的目标视差值。在一些实施例中，连通区域优化子单元进一步被配置为将所有连通区域中的面积大于面积阈值的连通区域确定为目标连通区域。在一些实施例中，连通区域优化子单元进一步被配置为基于所述目标连通区域的边缘占据的区域中的所有目标像素的原始视差值，计算所述目标连通区域中的每一个像素的目标视差值，其中，目标像素为具有的原始视差值处于预设合理区间内的像素。在一些实施例中，连通区域优化子单元进一步被配置为计算所述目标连通区域的边缘占据的区域中的所有目标像素的原始视差值的平均值；将所述平均值作为所述目标连通区域中的每一个像素的目标视差值。在一些实施例中，图像处理装置还包括：平滑单元，被配置为获取用于生成视差图的图像中的与经过优化的视差图中的待平滑区域相对应的区域的特征信息；基于所述特征信息，利用引导滤波算法和快速双边滤波算法对经过优化的视差图中的待平滑区域进行平滑处理。本申请实施例提供的图像处理方法、装置，实现了考虑了视差图中的低置信度区域、视差图中的与弱纹理区域相对应的区域、视差图中的与重复纹理区域相对应的区域与待处理区域的关联性，基于包括以下项中的至少一项的所有用于确定待优化区域的区域：至少一个低置信度区域、至少一个与弱纹理区域相对应的区域、至少一个与重复纹理区域相对应的区域，准确地确定视差图中的待优化区域，对待优化区域中的像素的视差值进行优化，以对视差图进行准确地优化，得到具有较好的优化效果的经过优化的视差图。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1示出了本申请实施例提供的图像处理方法的流程图；图2示出了确定视差图中的待优化区域的流程示意图；图3示出了对视差图中的待优化区域中的像素的视差值进行优化的流程示意图；图4示出了本申请实施例提供的图像处理装置的结构框图；图5示出了本申请实施例提供的电子设备的结构框图。具体实施方式下面结合附图和实施本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n确定视差图中的所有用于确定待优化区域的区域，所有用于确定待优化区域的区域包括以下项中的至少一项：至少一个低置信度区域、至少一个与弱纹理区域相对应的区域、至少一个与重复纹理区域相对应的区域，其中，低置信度区域基于用于生成所述视差图的立体匹配算法输出的所述视差图的置信度矩阵而确定，弱纹理区域、重复纹理区域通过对用于生成所述视差图的图像分别进行弱纹理区域检测、重复纹理区域检测而确定；/n基于所有用于确定待优化区域的区域，确定所述视差图中的待优化区域；/n对所述待优化区域中的像素的视差值进行优化，得到经过优化的视差图。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
确定视差图中的所有用于确定待优化区域的区域，所有用于确定待优化区域的区域包括以下项中的至少一项：至少一个低置信度区域、至少一个与弱纹理区域相对应的区域、至少一个与重复纹理区域相对应的区域，其中，低置信度区域基于用于生成所述视差图的立体匹配算法输出的所述视差图的置信度矩阵而确定，弱纹理区域、重复纹理区域通过对用于生成所述视差图的图像分别进行弱纹理区域检测、重复纹理区域检测而确定；
基于所有用于确定待优化区域的区域，确定所述视差图中的待优化区域；
对所述待优化区域中的像素的视差值进行优化，得到经过优化的视差图。


2.根据权利要求1所述的方法，其特征在于，基于所有用于确定待优化区域的区域，确定所述视差图中的待优化区域包括：
确定所有用于确定待优化区域的区域的并集；
将确定的并集确定为所述视差图中的待优化区域。


3.根据权利要求1所述的方法，其特征在于，对所述待优化区域中的像素的视差值进行优化，得到经过优化的视差图包括：
利用连通域提取算法确定所述待优化区域中的所有连通区域；
确定所有连通区域中的目标连通区域；
对于每一个目标连通区域，对所述目标连通区域进行形态学梯度提取，以确定所述目标连通区域的边缘；基于所述目标连通区域的边缘占据的区域中的像素的原始视差值，计算所述目标连通区域中的每一个像素的目标视差值；将所述目标连通区域中的每一个像素的视差值修改为每一个像素的目标视差值。


4.根据权利要求3所述的方法，其特征在于，确定所有连通区域中的目标连通区域包括：
将所有连通区域中的面积大于面积阈值的连通区域确定为目标连通区域。


5.根据权利要求4所述的方法，其特征在于，基于所述目标连通区域的边缘占据的区域中的像素的原始视差值，计算所述目标连通区域中的每一个像素的目标视差值包括：
基于所述目标连通区域的边缘占据的区域中的所有目标像素的原始视差值，计算...

【专利技术属性】
技术研发人员：王光甫，王珏，刘帅成，
申请(专利权)人：北京迈格威科技有限公司，成都旷视金智科技有限公司，
类型：发明
国别省市：北京;11