基于2D相机和3D相机标定的多通道融合图生成方法技术

本发明专利技术公开了一种基于2D相机和3D相机标定的多通道融合图生成方法，包括：在目标区域固定安装2D\3D相机；通过2D\3D相机从不同角度采集多组用于标定的2D/3D图像数据，利用2D相机RGB图像和3D相机纹理图像对2D相机和3D相机分别进行单目标定，再进行立体标定，得到标定的参数；采集一组用于融合的2D/3D图像数据，根据标定的参数、2D相机RGB图像、3D相机空间位置以及3D相机法向量，利用融合算法生成多通道融合图。考虑将2D相机的高分辨率优势与3D相机的空间位置、法向量优势相结合，利用计算机视觉领域相关技术，生成具有低成本、高精度及高分辨率的多通道融合图。可用于模型生成、图像预处理、工业检测等任务。工业检测等任务。工业检测等任务。

【技术实现步骤摘要】
基于2D相机和3D相机标定的多通道融合图生成方法


[0001]本专利技术属于图像融合处理领域，尤其涉及一种基于2D相机和3D相机标定的多通道融合图生成方法。

技术介绍

[0002]现有3D相机虽可获取空间位置、法向量等信息，但所采集的图像分辨率普遍较低。若想要高分辨率的3D相机，则相关任务的成本大幅增加。即在获取高质量3D图像时需要平衡成本和图像质量之间的权衡。图像融合处理是计算机视觉领域的一个重要研究方向，其主要目的是将来自不同源的多幅图像融合在一起，以得到更多的信息和更好的视觉效果。使用高分辨率的2D相机来捕捉高分辨率的2D图像，然后使用低成本的3D相机来获取物体的空间位置及法向量信息。通过设计融合算法，将2D图像和3D图像进行融合，可以生成低成本、高精度及高分辨率的3D图像。其中可以通过相机标定和立体视觉标定技术设计特定的标定方法建立2D相机和3D相机之间的空间联系，此为建立融合算法的基础和前提。融合算法主要使用图像处理、立体视觉以及矩阵处理等相关技术。

技术实现思路

[0003]专利技术目的：本专利技术的目的在于提供一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于2D相机和3D相机标定的多通道融合图生成方法，其特征在于，包括以下步骤：步骤1：在目标区域将2D相机和3D相机固定安装在同一机械结构上，并定义2D相机RGB图像、3D相机空间位置以及3D相机法向量；步骤2：通过2D相机和3D相机从不同角度采集多组用于标定的2D/3D图像数据，利用2D相机RGB图像和3D相机纹理图像对2D相机和3D相机分别进行单目标定，再对单目标定后的结果进行立体标定，得到标定的参数；步骤3：采集一组用于融合的2D/3D图像数据，根据标定的参数、2D相机RGB图像、3D相机空间位置以及3D相机法向量，利用融合算法生成多通道融合图。2.根据权利要求1所述的一种基于2D相机和3D相机标定的多通道融合图生成方法，其特征在于，步骤1中定义2D相机RGB图像、3D相机空间位置以及3D相机法向量具体为：2D相机所采集的高分辨率RGB图像称为2D相机RGB图像，定义为2D_RGB，数据结构定义为矩阵其中H
2D
，W
2D
，3分别表示高度，宽度，颜色；3D相机所采集的纹理图像称为3D相机纹理图像，定义为3D_Texture，数据结构定义为矩阵其中H
3D
，W
3D
分别表示高度，宽度；3D相机所采集的空间位置信息称为3D相机空间位置，定义为3D_XYZ，数据结构定义为矩阵其中H
3D
，W
3D
，3分别表示高度，宽度，3D相机坐标系中的空间坐标(X,Y,Z)，其中；3D相机所采集的法向量称为3D相机法向量，定义为3D_Normal，数据结构定义为矩阵其中H
3D
，W
3D
，3分别表示高度，宽度，3D相机坐标系中的法向量坐标(N
X
,N
Y
,N
Z
)。3.根据权利要求1所述的一种基于2D相机和3D相机标定的多通道融合图生成方法，其特征在于，步骤2具体包括如下步骤：步骤2
‑
1，将输入的N张2D_RGB进行单目标定，得到2D相机高分内参矩阵cameraHDMatrix2D3×3和2D相机高分畸变参数distHDCoeffs2D1×5；步骤2
‑
2，将输入的N张2D_RGB以像素坐标系原点进行左上角裁剪，得到的N张2D_RGB宽高比与3D_Texture一致，即H
′
2D
：W
′
2D
＝H
3D
：W
3D
；步骤2
‑
3，将步骤2
‑
2的结果进行分辨率下降；步骤2
‑
4，将N张3D_Texture以像素坐标系原点进行左上角裁剪，得到的N张3D_Texture的宽高与步骤2
‑
3得到的N张2D_RGB一致；步骤2
‑
5，将步骤2
‑
3与步骤2
‑
4的结果分别进行单目标定，得到2D和3D相机的内参矩阵、畸变参数、标定点的世界坐标和像素坐标，其中内参矩阵分别为cameraMatriX2D3×3和cameraMatrix3D3×3，畸变参数分别为distCoeffs2D1×5和distCoeffs3D1×5；步骤2
‑
6，将步骤2
‑
5的结果进行立体标定，得到2D和3D相机的相机坐标系之间的旋转矩阵R3×3及平移向量T3×1，其中R和T的正变换过程是由2D相机坐标系到3D相机坐标系的。4.根据权利要求3所述的一种基于2D相机和3D相机标定的多通道融合图生成方法，其特征在于，步骤3具体包括如下步骤：步骤3
‑
1，由3D相机内参矩阵cameraMatrix3D3×3和畸变参数distCoeffs3D1×5对输入的和图像进行畸变校正，将两者在最后一个纬度进行连
结、变形前两个纬度以及去除异常点Z＝＝0，得到3D相机坐标系下的点集矩阵3D_XYZNor
N
×6，其中N，6分别为点的数量，通道信息(X,Y,Z,N
X
,N
Y
,N
Z
)，X代表3D相机坐标系X坐标，Y代表3D相机坐标系Y坐标，Z代表3D相机坐标系Z坐标，N
X
代表3D相机坐标系法向量X坐标，N
Y
代表3D相机坐标系法向量Y坐标，N
Z
代表3D相机坐标系法向量Z坐标；步骤3
‑
2，将R3×3与T3×1最后一维拼接得到的矩阵记作RT3×4，转化为齐次坐标形式即RT4×4，其逆矩阵即3D相机坐标系到2D相机坐标系的齐次坐标变换矩阵；步骤3
‑
3，由步骤3
‑
1，将3D_XYZNor
N
×6前3列记作3D_XYZ
N
×3，转化为齐次坐标形式即3D_XYZ
N
×1×4；步骤3
‑
4，由步骤3
‑
2及步骤3
‑
3，其中einsum为爱因斯坦求和函数，即将3D_XYZNor
N
×6中的空间位置从3D相机坐标系旋转平移到2D相机坐标系下，转化为非齐次坐标形式即2D_XYZ
N
×3；步骤3
‑
5，由步骤3
‑
4...

【专利技术属性】
技术研发人员：孙文赟，薛宇恒，葛希斋，李春彪，杨博，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：