一种深度估计方法、装置、系统及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种深度估计方法、装置、系统及计算机可读存储介质，该方法包括：对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；对所述视差图进行滤波处理；将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。本发明专利技术能够在移动终端上进行深度估计，能够精确地得到场景的深度信息。

A Depth Estimation Method, Device, System and Computer Readable Storage Media

The invention provides a depth estimation method, device, system and computer readable storage medium. The method includes: correcting and transforming the acquired color image and infrared image respectively to obtain a distortion-free virtual view image; estimating the corrected color image and the corrected infrared image. The disparity map is obtained; the disparity map is filtered; the filtered disparity map is inversely corrected to obtain the depth map aligned with the original color image. The invention can estimate the depth on the mobile terminal, and can accurately obtain the depth information of the scene.

【技术实现步骤摘要】
一种深度估计方法、装置、系统及计算机可读存储介质
本专利技术涉及人工智能领域，特别涉及一种基于图像处理技术进行深度估计的方法、装置、系统及计算机可读存储介质。
技术介绍
深度信息在计算机视觉领域有着重要的意义，深度图的精度对于三维重建、图像精细分割、光效渲染、人脸动画等应用有着重要的影响。为了获取图像的深度信息，人们可以通过多个相机获取的图像进行计算得到场景的深度信息。传统方案一般通过双彩色相机基于立体匹配算法来生成深度图，但是对于手机等移动设备来讲，双彩色摄像头模组体积较大，价格昂贵，并且在无纹理区域、精细边缘、夜晚拍摄、镂空区域等情况下，容易出现深度恢复错误的情况。
技术实现思路
考虑到上述问题而提出了本专利技术，解决近距离场景下的深度估计问题，提出了一种结合彩色图像和红外图像的深度估计方法、装置、系统及计算机可读存储介质，基于红外信息和彩色信息在近距离场景下恢复出场景深度信息，且在夜晚拍摄等情况下鲁棒，提高了深度图质量，降低了成本。根据本专利技术的一方面，提供了一种深度估计方法，包括：对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；对所述视差图进行滤波处理；将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。进一步，所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图；以及，以所述红外图像为基准，计算所述红外图像到所述彩色图像的视差，得到反向视差图。进一步，所述对所述视差图进行滤波处理，包括：对所述正向视差图和所述反向视差图分别进行高斯滤波与双边滤波；对滤波后的所述正向视差图和滤波后的所述反向视差图进行双向一致性验证，得到置信度图；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波，并基于所述置信度图对所述保边滤波后的所述正向视差图进行置信度处理；以及，对所述置信度处理后的所述正向视差图进行高斯滤波与双边滤波。进一步，所述正向视差图与所述反向视差图分别采用如下方式获得：先对所述彩色图像和所述红外图像进行下采样，得到预定分辨率的图像，在该层分辨率上进行视差计算得到该层的视差图；对该层的视差图进行上采样，得到上层分辨率的视差图；以上采样后的视差图为基准，对上层分辨率的彩色图像和红外图像进行视差计算得到上层的视差图；重复上述过程，直到所述彩色图像和所述红外图像的原始分辨率，得到最终的视差图。进一步，在每一层分辨率进行视差计算得到该层的视差图，包括：如果是最低分辨率的一层，则在预定范围内随机生成各个像素的视差值，根据该视差值，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值；如果不是最低分辨率的一层，则根据上一层上采样后的视差图为基准，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值。进一步，所述以像素块为单位计算所述彩色图像与所述红外图像的相似度，包括：采用卷积神经网络及马氏距离的方式对相似度进行度量，或者采用归一化互相关系数对相似度进行度量。进一步，所述采用卷积神经网络及马氏距离的方式对相似度进行度量，包括：使用卷积神经网络学习度量所述彩色图像与所述红外图像相似性的协方差矩阵，并根据所述协方差矩阵进行马氏距离的计算，根据所述马氏距离得到所述相似度。进一步，所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图。进一步，所述对所述视差图进行滤波处理，包括：对所述正向视差图进行高斯滤波与双边滤波；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波；以及，对所述保边滤波处理后的所述正向视差图进行高斯滤波与双边滤波。进一步，所述对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像，包括：分别根据彩色相机和红外相机的内参、失真系数、三维旋转角度和平移参数将所述彩色图像和红外图像校正到无失真的虚拟视角，以使得所述彩色图像和所述红外图像之间的对极线平行。根据本专利技术的另一方面，还提供了一种图像处理方法，所述方法为基于深度信息的移动终端解锁方法、基于深度信息的抠像及虚化方法、基于深度信息的3d美颜方法以及基于深度信息的3d打光方法中的一个，其特征在于，所述深度信息为根据上述任一项所述的深度估计方法获得。根据本专利技术的另一方面，还提供了一种深度估计装置，包括：校正变换模块，用于对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；视差图计算模块，用于估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；滤波处理模块，用于对所述视差图进行滤波处理；反校正变换模块，用于将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。根据本专利技术的另一方面，还提供了一种深度估计系统，包括：彩色图像采集装置、红外图像采集装置、处理器和存储器；所述彩色图像采集装置用于采集彩色图像，所述红外图像采集装置用于采集红外图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行上述任一项所述的方法。根据本专利技术的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述任一项所述的方法的步骤。根据本专利技术实施例的深度估计方法，解决了近距离场景下的深度估计问题，基于红外信息和彩色信息在近距离场景下恢复出场景深度信息，在对彩色图像和红外图像基于块匹配得到视差图时，使用一个基于度量学习的块匹配方法，能够较好的刻画彩色图像和红外图像局部的相似性，进一步地，通过块匹配得到粗糙深度图后，经过预先平滑去除奇异值、引导滤波保持边缘、双边滤波去除多余细节，最终得到高质量的深度图结果。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出了根据本专利技术一个实施例的一种深度估计方法的示意性流程图；图2示出了根据本专利技术一个实施例的一种深度估计装置的示意性框图；具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术中描述的本专利技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本专利技术的保护范围之内。为解决上文所述的问题，本专利技术实施例提供一种深度估计方法。首先，参照图1来描述用于实现本专利技术实施例的深度估计方法，具体包括如下步骤：对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；估计所述校正变换后的彩色本文档来自技高网...

【技术保护点】
1.一种深度估计方法，其特征在于，包括：对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；对所述视差图进行滤波处理；将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。

【技术特征摘要】
2018.03.29 CN 20181027271121.一种深度估计方法，其特征在于，包括：对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；对所述视差图进行滤波处理；将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。2.根据权利要求1所述的方法，其特征在于，所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图；以及以所述红外图像为基准，计算所述红外图像到所述彩色图像的视差，得到反向视差图。3.根据权利要求2所述的方法，其特征在于，所述对所述视差图进行滤波处理，包括：对所述正向视差图和所述反向视差图分别进行高斯滤波与双边滤波；对滤波后的所述正向视差图和滤波后的所述反向视差图进行双向一致性验证，得到置信度图；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波，并基于所述置信度图对所述保边滤波后的所述正向视差图进行置信度处理；以及对所述置信度处理后的所述正向视差图进行高斯滤波与双边滤波。4.根据权利要求2所述的方法，其特征在于，所述正向视差图与所述反向视差图分别采用如下方式获得：先对所述彩色图像和所述红外图像进行下采样，得到预定分辨率的图像，在该层分辨率上进行视差计算得到该层的视差图；对该层的视差图进行上采样，得到上层分辨率的视差图；以上采样后的视差图为基准，对上层分辨率的彩色图像和红外图像进行视差计算得到上层的视差图；重复上述过程，直到所述彩色图像和所述红外图像的原始分辨率，得到最终的视差图。5.根据权利要求4所述的方法，其特征在于，在每一层分辨率进行视差计算得到该层的视差图，包括：如果是最低分辨率的一层，则在预定范围内随机生成各个像素的视差值，根据该视差值，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值；如果不是最低分辨率的一层，则根据上一层上采样后的视差图为基准，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值。6.根据权利要求5所述的方法，其特征在于，所述以像素块为单位计算所述彩色图像与所述红外图像的相似度，包括：采用卷积...

【专利技术属性】
技术研发人员：李凯，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11