一种基于RGB和红外图像的3D信息感知方法和系统技术方案

本发明专利技术涉及一种基于RGB和红外图像的3D信息感知方法和系统，方法包括：对RGB相机和红外相机进行双目标定，获取相机的内外参和单应矩阵；分别获取原始RGB图像和红外图像，并进行图像矫正使其平行共面；基于矫正后的RGB图像和红外图像获取双目RGB深度图和双目红外深度图；对矫正后的红外图像进行深度估计得到单目红外深度图；对矫正后的RGB图像进行光照估计，获取图像亮度并进行光照判断；基于光照判断对双目RGB深度图、双目红外深度图和单目红外深度图进行加权得到最终的深度图；将深度图映射到三维空间获取伪点云并输入点云网络获取目标的3D信息。与现有技术相比，本发明专利技术能够更好地处理强光照、低光照、目标与背景区分度小等非常规工况下的3D信息感知。非常规工况下的3D信息感知。非常规工况下的3D信息感知。

A 3D information perception method and system based on RGB and infrared images

【技术实现步骤摘要】
一种基于RGB和红外图像的3D信息感知方法和系统


[0001]本专利技术涉及视觉感知
，尤其是涉及一种基于RGB和红外图像的3D信息感知方法和系统。

技术介绍

[0002]目标检测是计算机视觉的基础问题，随着近些年计算机视觉的快速发展，许多优秀的目标检测算法被提出，常规工况下的目标检测算法性能已比较突出，但非常规工况如强光照和低光照工况、目标和背景区分度较小的工况等，当前的目标检测算法在准确度上还存在较大局限性。
[0003]RGB相机具有图像语义信息丰富、价格低廉等优点，在无人驾驶和机器人等领域中广泛应用，但缺点是易受外界环境的影响，尤其是光照变化，且RGB图像缺少深度信息。红外相机对光照、颜色等不敏感，具有夜视的优点，能有效区分强光照或低光照下的不同物体，但缺点是红外图像纹理信息不够丰富，影响目标检测性能，且缺少深度信息。激光雷达能够提供准确的深度信息，但语义信息不够丰富，且目前成本昂贵，难以在量产车上普及。
[0004]3D信息感知方法在实践中具有广泛的用途，可以应用在自动驾驶、智能监控、无人机、智能农业设备、工业机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB和红外图像的3D信息感知方法，其特征在于，包括以下步骤：S1：对RGB相机和红外相机进行双目标定，获取两个相机的内外参及单应矩阵；S2：通过RGB相机和红外相机分别获取包含目标的原始RGB图像和原始红外图像，并通过S1获取的内外参和单应矩阵矫正原始图像进行图像矫正使得两个原始图像平行共面；S3：基于矫正后的RGB图像和红外图像通过视差网络获取双目RGB深度图和双目红外深度图；S4：通过深度估计网络对矫正后的红外图像进行单目深度估计得到单目红外深度图；S5：对矫正后的RGB图像进行光照估计，获取相应的图像亮度，并对图像亮度进行光照判断，基于光照判断结果对双目RGB深度图、双目红外深度图和单目红外深度图进行加权得到最终的深度图；S6：将S5获取的深度图映射到三维空间获取伪点云，将伪点云输入点云网络获取目标的3D信息。2.根据权利要求1所述的一种基于RGB和红外图像的3D信息感知方法，其特征在于，所述S3具体包括以下步骤：S3.1：分别从矫正后的RGB图像和红外图像提取图像特征；S3.2：对从两个矫正后的图像中提取的图像特征进行拼接，并考虑目标周围的实际场景计算代价量；S3.3：通过3D卷积和反卷积对S3.2获取的代价量进行聚合，获取总代价量；S3.4：基于总代价量，在视差维度上估计视差值，再通过视差与深度的关系分别获取双目RGB深度图和双目红外深度图。3.根据权利要求2所述的一种基于RGB和红外图像的3D信息感知方法，其特征在于，所述S3.4中基于总代价量，利用soft argmin操作在视差维度上估计视差值，所述soft argmin操作的公式为：式中，c
d
为视差d对应的预测代价量，σ为softmax归一化函数，D
max
为最大视差。4.根据权利要求3所述的一种基于RGB和红外图像的3D信息感知方法，其特征在于，所述S4中采用的深度估计网络为基于多尺度离散卷积条件随机场的深度估计网络。5.根据权利要求4所述的一种基于RGB和红外图像的3D信息感知方法，其特征在于，所述S5具体包括以下步骤：S5.1：对矫正后的RGB图像进行光照估计，即获取图像的初始亮度，再根据优化公式优化图像的初始亮度，求解优化公式，获取图像亮度；S5.2：对所述图像亮度中的所有元素进行求和取平均，再与设定的阈值相比，进而分别获取双目RGB深...

【专利技术属性】
技术研发人员：田炜，韩帅，邓振文，黄禹尧，谭大艺，
申请(专利权)人：同济大学，
类型：发明
国别省市：