低光照弱对比复杂环境下的深度相机视觉增强方法及系统技术方案

本发明专利技术属于机器人及机器视觉技术领域，具体涉及了一种低光照弱对比复杂环境下的深度相机视觉增强方法及系统，旨在解决在低光照弱对比的复杂环境下，无法对深度相机彩色图和深度图同时进行有效增强与修复的问题。本发明专利技术包括：进行深度相机彩色图和深度图的标定及彩色图与深度图间的配准；进行配准彩色图的主动亮度均衡和自适应特征增强，获得增强彩色图；提取增强彩色图的纹理特征并进行配准深度图的相似区域划分；基于相似纹理区域内的有效测量点对无效测量点进行修复，获得增强深度图；增强彩色图和增强深度图为深度相机视觉增强结果。本发明专利技术同时对深度相机的彩色图和深度图进行增强与修复，进一步提升深度相机对更加复杂、恶劣的环境的适应性。

【技术实现步骤摘要】
低光照弱对比复杂环境下的深度相机视觉增强方法及系统
本专利技术属于机器人及机器视觉
，具体涉及了一种低光照弱对比复杂环境下的深度相机视觉增强方法及系统。
技术介绍
随着机器视觉技术的发展，能够获取三维图像信息的深度相机被广泛应用于场景重建、无人驾驶、机器人导航、手机人脸解锁、体感游戏等方面，是一类重要的视觉传感器。受限于深度相机的测量原理，其所成的视觉图像，即彩色图和深度图，对环境条件的要求更高。如何让深度相机应用于更加复杂、恶劣的环境，是该领域的热点研究问题。夜晚或水下空间、密闭的腔体或管道内部等环境属于典型的弱光复杂场景，在该类场景下，深度相机受局部光源、材质反光以及复杂环境的视差影响，普遍存在彩色图亮度、对比度偏低且随机噪声偏大，深度图无效测量值增多、出现筛网或片状空洞等问题。现有的改善策略多集中于传统相机上应用较好的方法，如直方图均衡化、同态滤波、Retinex增强等，但这类方法属于被动的图像增强，对于弱光甚至无光环境的增强效果有限，且由于未考虑深度相机的测量原理，无法对相机所成的深度图进行增强。
技术实现思路
为了解决现有技术中的上述问题，即在低光照弱对比的复杂环境下，无法对深度相机彩色图和深度图同时进行有效增强与修复的问题，本专利技术提供了一种低光照弱对比复杂环境下的深度相机视觉增强方法，该深度相机视觉增强方法包括：步骤S10，获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；步骤S20，对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；步骤S30，对所述均衡彩色图进行自适应特征增强，获得增强彩色图；步骤S40，提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；步骤S50，分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。在一些优选的实施例中，步骤S10包括：将深度相机彩色图与深度图的成像平面对齐，并分别建立彩色图像素点与实际环境空间点、深度图像素点与实际环境空间点的准确映射关系，获得标定后配准的彩色图和深度图对。在一些优选的实施例中，步骤S20包括：步骤S21，通过多尺度高斯滤波器获取所述彩色图和深度图对中的彩色图的各个点光源共同作用下受光面的照度分量分布图；步骤S22，对所述照度分量分布图进行区域采样，获得每一个单个点光源独立作用下的照度分量；步骤S23，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，获得均衡彩色图。在一些优选的实施例中，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，其方法为：I′out(i,k)＝Iin(i,k)+Iout(i,k)Iout(i,k)＝(1-α)Iout(i,k-1)+α[255-Iin(i,k)]其中，I′out(i,k)代表k时刻第i个点光源进行主动亮度均衡后的等效照度，Iin(i,k)代表k时刻第i个点光源进行主动亮度均衡前的等效照度，Iout(i,k)和Iout(i,k-1)分别代表k时刻和k-1时刻第i个点光源的补偿照度，α为预设的控制系数。在一些优选的实施例中，步骤S30包括：步骤S31，计算所述亮度均衡彩色图各像素值的均值和标准差；步骤S32，构建模糊推理系统，并将所述均值和标准差作为系统输入变量，结合预先设定的隶属度函数和模糊规则通过模糊推理获得限制对比度自适应直方图均衡化算法中的最佳裁剪阈值和伽马校正算法中的最佳伽马校正系数；步骤S33，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，基于所述最佳裁剪阈值，对自适应亮度均衡后的图像进行限制对比度自适应直方图均衡；步骤S34，对自适应直方图均衡化后的图像进行双边滤波，获得增强彩色图。在一些优选的实施例中，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，其方法为：其中，Fo(x,y)代表位于(x,y)的像素点进行自适应亮度均衡后的照度分量，Fi(x,y)代表位于(x,y)的像素点进行自适应亮度均衡前的照度分量，F(x,y)代表位于(x,y)的像素点的亮度值，M为当前图像照度分量均值，β为最佳伽马校正系数。在一些优选的实施例中，步骤S40包括：步骤S41，将所述增强彩色图降采样至设定分辨率；步骤S42，通过MeanShift算法将降采样后的图像中的相似纹理区平滑为相同的颜色；步骤S43，通过FloodFill算法提取平滑后的图像中相应的颜色连通域形成纹理区掩膜；步骤S44，对所述纹理区掩膜进行双线性插值，获得原始分辨率下的图像掩膜作为所述增强彩色图的纹理特征；步骤S45，通过所述增强彩色图的纹理特征提取所述彩色图和深度图对中的深度图中的ROI区域，获得所述深度图的相似纹理区域集合。在一些优选的实施例中，步骤S50包括：步骤S51，对于所述深度图的相似纹理区域集合中每一个相似纹理区域，获取区域内深度测量值的范围，将大于深度相机最大量程的测量值划分为无效测量点，属于正常范围的测量值划分为有效测量点；步骤S52，计算有效测量点数量与无效测量点数量的比值，若所述比值小于设定阈值，则终止修复；否则，通过RANSAC算法拟合所述深度图的相似纹理区域内的有效测量点，获得有效测量点的局部点云拟合模型；步骤S53，以有效测量点的实际值与其模型估计值之间的误差小于等于设定阈值的点作为内点，以有效测量点的实际值与其模型估计值之间的误差大于等于设定阈值的点作为外点，若内点与外点的比值小于设定阈值，则终止修复；否则，根据相机投影模型和所述局部点云拟合模型对相似纹理区域内的无效测量点进行深度值重计算；步骤S54，重复步骤S51至步骤S54，直到所述深度图的相似纹理区域集合的每一个区域完成无效测量点的修复，获得增强深度图。在一些优选的实施例中，根据相机投影模型和所述局部点云拟合模型对相似纹理区域内的无效测量点进行深度值重计算，其方法为：其中，为环境中的空间点坐标，为重计算后的深度测量值，(u,v)为深度图像中的像素平面坐标，cx、cy分别为相机光心在两个垂直方向上的偏移量，fx、fy分别为相机在两个垂直方向上的焦距，F(x,y)为局部点云拟合模型。本专利技术的另一方面，提出了一种低光照弱对比复杂环境下的深度相机视觉增强系统，该深度相机视觉增强系统包括标定与配准模块、主动亮度均衡模块、自适应增强模块、相似区域划分模块和深度图修复模块；所述标定与配准模块，配置为获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度本文档来自技高网...

【技术保护点】
1.一种低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，该深度相机视觉增强方法包括：/n步骤S10，获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；/n步骤S20，对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；/n步骤S30，对所述均衡彩色图进行自适应特征增强，获得增强彩色图；/n步骤S40，提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；/n步骤S50，分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。/n

【技术特征摘要】
1.一种低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，该深度相机视觉增强方法包括：
步骤S10，获取深度相机彩色图和深度图，并进行所述彩色图和深度图的标定以及彩色图与深度图之间的配准，获得标定后配准的彩色图和深度图对；
步骤S20，对所述彩色图和深度图对中的彩色图进行主动亮度均衡，获得均衡彩色图；
步骤S30，对所述均衡彩色图进行自适应特征增强，获得增强彩色图；
步骤S40，提取所述增强彩色图的纹理特征，并基于所述增强彩色图的纹理特征进行所述彩色图和深度图对中的深度图的相似区域划分，获得所述深度图的相似纹理区域集合；
步骤S50，分别基于所述深度图的相似纹理区域集合中每一个相似纹理区域内的有效测量点，对无效测量点进行修复，获得增强深度图。


2.根据权利要求1所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，步骤S10包括：
将深度相机彩色图与深度图的成像平面对齐，并分别建立彩色图像素点与实际环境空间点、深度图像素点与实际环境空间点的准确映射关系，获得标定后配准的彩色图和深度图对。


3.根据权利要求1所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，步骤S20包括：
步骤S21，通过多尺度高斯滤波器获取所述彩色图和深度图对中的彩色图的各个点光源共同作用下受光面的照度分量分布图；
步骤S22，对所述照度分量分布图进行区域采样，获得每一个单个点光源独立作用下的照度分量；
步骤S23，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，获得均衡彩色图。


4.根据权利要求3所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，基于所述单个点光源独立作用下的照度分量通过反馈调节进行所述彩色图的主动亮度均衡，其方法为：
I′out(i,k)＝Iin(i,k)+Iout(i,k)
Iout(i,k)＝(1-α)Iout(i,k-1)+α[255-Iin(i,k)]
其中，I′out(i,k)代表k时刻第i个点光源进行主动亮度均衡后的等效照度，Iin(i,k)代表k时刻第i个点光源进行主动亮度均衡前的等效照度，Iout(i,k)和Iout(i,k-1)分别代表k时刻和k-1时刻第i个点光源的补偿照度，α为预设的控制系数。


5.根据权利要求1所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，步骤S30包括：
步骤S31，计算所述亮度均衡彩色图各像素值的均值和标准差；
步骤S32，构建模糊推理系统，并将所述均值和标准差作为系统输入变量，结合预先设定的隶属度函数和模糊规则通过模糊推理获得限制对比度自适应直方图均衡化算法中的最佳裁剪阈值和伽马校正算法中的最佳伽马校正系数；
步骤S33，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，基于所述最佳裁剪阈值，对自适应亮度均衡后的图像进行限制对比度自适应直方图均衡；
步骤S34，对自适应直方图均衡后的图像进行双边滤波，获得增强彩色图。


6.根据权利要求5所述的低光照弱对比复杂环境下的深度相机视觉增强方法，其特征在于，基于所述最佳伽马校正系数，通过伽马校正算法进行所述亮度均衡彩色图的自适应亮度均衡，其方法为：






其中，Fo(x,y)代表位于(x,y)的像素点进行自适应亮度均衡后的照度分量，Fi(x,y)代表位于(...

【专利技术属性】
技术研发人员：李恩，罗明睿，杨国栋，梁自泽，谭民，郭锐，李勇，刘海波，
申请(专利权)人：中国科学院自动化研究所，国网山东省电力公司，
类型：发明
国别省市：北京;11