一种基于全景双目视觉的稠密三维地图重建方法及系统技术方案

本发明专利技术涉及一种基于全景双目视觉的稠密三维地图重建方法及系统，其方法包括：S1、利用相对分布的两个全景相机同步采集数对棋盘格图像；S2、利用数对棋盘格图像对全景相机进行标定，得到内参以及每个棋盘格相对于两个全景相机的外参矩阵；标定两个全景相机的相机坐标系间的变换矩阵；利用相机坐标系间的变换矩阵，将两个全景相机的相机坐标系对齐标定至系统坐标系下；S3、将三维单位向量球面按照经纬度等矩形展开，得到两幅在经度方向对齐、纬度方向存在视差的全景展开图；S4、基于两幅全景展开图，计算得到稠密视差图像；S5、计算每个空间点的稠密深度值，得到稠密三维地图。本发明专利技术通过单次成像获得周围环境实时的稠密三维地图信息。图信息。图信息。

【技术实现步骤摘要】
一种基于全景双目视觉的稠密三维地图重建方法及系统


[0001]本专利技术属于计算机视觉三维重建
，具体涉及一种基于全景双目视觉的稠密三维地图重建方法及系统。

技术介绍

[0002]随着移动机器人、无人驾驶机动车、增强现实等技术的发展，对周围环境进行精确、稠密、实时的三维建图，无论对于避障还是场景构建都极为必要。当前，构建实时的三维地图的技术方法大致可分为主动式和被动式两类。
[0003]其中，主动式的三维地图重建技术，首先由系统向外界发出经过调制的一定信号，再由系统接收传感器接收外界返回的回波信号，并通过对信号比较，获取特定方位的深度信息，以构建三维地图。其中，主动式三维地图重建技术最具有代表性的就是激光雷达。其通过向周围环境投射红外激光散斑，利用飞行时间法(TOF)，通过各个散斑返回信号与发射信号的时间差，计算出系统到目标位置的深度。此外，主动式三维地图重建还可以采取向目标平面投射特定编码的结构光，再利用相机获取物体表面的结构光信息，通过计算解码出物体表面的深度。
[0004]被动式的三维地图重建技术与主动式的区别在于，系统不需要向外界发出信号，而直接接收外界信号获取深度。被动式的三维地图重建技术无论如何变化，归根结底采用的方法都是利用双目视觉获得特定目标在两个传感器间的视差，并由此计算深度。其中，具有代表性的双目相机有英特尔公司的RealSense等。
[0005]对于主动式三维地图重建技术而言，其缺点是环境适应性差。如激光雷达，其通常采用的激光在红外波段，在大气中会产生衰减，尤其在大雨、浓烟浓雾等条件下，衰减加剧，探测距离受到明显影响。此外，激光还容易受到大气湍流、物体表面环境反射光等影响，抗干扰能力弱。而对于结构光探测器而言，受环境光干扰的影响甚至更大，因此结构光深度相机往往仅适用于室内或少数室外环境下。除此之外，激光雷达还存在成本高昂、稳定性差、重量大等缺点。
[0006]现有的被动式三维地图重建技术，如各类双目相机，采用的大多是针孔相机模型，视场有限，无法覆盖系统周围全景区域。而如果使用鱼眼镜头扩大视场，往往在视场边缘会产生较大径向畸变，严重影响双目相机特征识别及视差获取。当前，也有采用折反式全景相机构建360
°
全景双目视觉系统的方法，例如，公开号为CN114092647A的专利文献公开的三维重建方法，但仅能得到稀疏的特征匹配对，无法构建真正的三维稠密深度地图，且实时性严重不足，无法真正应用到自主机器人、增强现实等实时三维构建场景中。

技术实现思路

[0007]基于现有技术中存在的上述缺点和不足，本专利技术的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本专利技术的目的之一是提供满足前述需求之一或多个的一种基于全景双目视觉的稠密三维地图重建方法及系统。
[0008]为了达到上述专利技术目的，本专利技术采用以下技术方案：
[0009]一种基于全景双目视觉的稠密三维地图重建方法，包括以下步骤：
[0010]S1、利用相对分布的两个全景相机同步采集处于不同位置的棋盘格标定板，得到数对棋盘格图像；其中，每对棋盘格图像包括两幅具有视差的全景环式图像；
[0011]S2、利用数对棋盘格图像对全景相机进行标定，得到两个全景相机的内参以及每个棋盘格相对于两个全景相机的外参矩阵；
[0012]利用每个棋盘格相对于两个全景相机的外参矩阵和最小二乘法，标定两个全景相机的相机坐标系间的变换矩阵；
[0013]利用相机坐标系间的变换矩阵，将两个全景相机的相机坐标系对齐标定至系统坐标系下；其中，系统坐标系的原点为两个全景相机视点间的中点；
[0014]S3、利用全景相机的内参建立像素平面与相机坐标系下三维单位向量球面的映射关系，并经过相机坐标系至系统坐标系的转换后，将三维单位向量球面按照经纬度等矩形展开，得到两幅在经度方向对齐、纬度方向存在视差的全景展开图；
[0015]S4、基于两幅全景展开图，计算得到稠密视差图像；
[0016]S5、基于稠密视差图像计算每个空间点的稠密深度值，得到稠密三维地图。
[0017]作为优选方案，所述步骤S2，包括：
[0018]基于泰勒级数展开的平面
‑
球面投影模型，利用MatLab相机标定工具箱分别得到两个全景相机的内参和畸变校正矩阵，以构建两个全景相机在各自坐标系下，三维单位球面坐标与原始图像像素平面坐标的映射关系。
[0019]作为优选方案，所述步骤S2中，外参矩阵的构建过程包括：
[0020]原始外参矩阵的前两列为每一个棋盘格相对于每一个相机坐标系的旋转矩阵的前两列列向量r
x
和r
y
，旋转矩阵的第三个列向量r
z
由r
x
和r
y
叉积得到；原始外参矩阵的第三列为棋盘格的参考坐标原点至相机坐标系的坐标原点之间的平移向量t；则原始外参矩阵为RRfin＝[r
x r
y t]；
[0021]对原始外参矩阵进行重构得到外参矩阵T：
[0022][0023]其中，旋转矩阵R3×3＝[r
x r
y r
z
]，r
z
＝r
x
×
r
y
。
[0024]作为优选方案，所述步骤S2中，对于每个棋盘格，两个全景相机对应一组外参矩阵T
top
和T
bottom
，T
top
＝T
transform
*T
bottom
，T
transform
为相机坐标系间的变换矩阵；
[0025]由于棋盘格图像有数对，则T
transform
的优化求解为：
[0026][0027]s.t.T
transform
∈SE
ꢀꢀꢀ
(3)
[0028]其中，N为棋盘格图像的对数，优化求解采用线性最小二乘法。
[0029]作为优选方案，所述步骤S2中，将两个全景相机的相机坐标系对齐标定至系统坐标系下，包括：
[0030]将变换矩阵T
transform
进行解构，得到旋转矩阵R3×3和平移向量t3×1；
[0031]计算平移向量t3×1的模长，得到两个全景相机间的基线长度b；
[0032]设定系统坐标系，以两个全景相机视点间的中点作为系统坐标系原点，平移向量t3×1作为系统坐标系的Z轴向量z
sys
，任取一个与之正交的向量作为系统坐标系的X轴向量x
sys
，利用z
sys
与x
sys
的叉积得到系统坐标系的Y轴向量；
[0033]分别计算两个全景相机的相机坐标系到系统坐标系的旋转矩阵，以对齐标定至系统坐标系下。
[0034]作为优选方案，所述步骤S3，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全景双目视觉的稠密三维地图重建方法，其特征在于，包括以下步骤：S1、利用相对分布的两个全景相机同步采集处于不同位置的棋盘格标定板，得到数对棋盘格图像；其中，每对棋盘格图像包括两幅具有视差的全景环式图像；S2、利用数对棋盘格图像对全景相机进行标定，得到两个全景相机的内参以及每个棋盘格相对于两个全景相机的外参矩阵；利用每个棋盘格相对于两个全景相机的外参矩阵和最小二乘法，标定两个全景相机的相机坐标系间的变换矩阵；利用相机坐标系间的变换矩阵，将两个全景相机的相机坐标系对齐标定至系统坐标系下；其中，系统坐标系的原点为两个全景相机视点间的中点；S3、利用全景相机的内参建立像素平面与相机坐标系下三维单位向量球面的映射关系，并经过相机坐标系至系统坐标系的转换后，将三维单位向量球面按照经纬度等矩形展开，得到两幅在经度方向对齐、纬度方向存在视差的全景展开图；S4、基于两幅全景展开图，计算得到稠密视差图像；S5、基于稠密视差图像计算每个空间点的稠密深度值，得到稠密三维地图。2.根据权利要求1所述的一种基于全景双目视觉的稠密三维地图重建方法，其特征在于，所述步骤S2，包括：基于泰勒级数展开的平面
‑
球面投影模型，利用MatLab相机标定工具箱分别得到两个全景相机的内参和畸变校正矩阵，以构建两个全景相机在各自坐标系下，三维单位球面坐标与原始图像像素平面坐标的映射关系。3.根据权利要求2所述的一种基于全景双目视觉的稠密三维地图重建方法，其特征在于，所述步骤S2中，外参矩阵的构建过程包括：原始外参矩阵的前两列为每一个棋盘格相对于每一个相机坐标系的旋转矩阵的前两列列向量r
x
和r
y
，旋转矩阵的第三个列向量r
z
由r
x
和r
y
叉积得到；原始外参矩阵的第三列为棋盘格的参考坐标原点至相机坐标系的坐标原点之间的平移向量t；则原始外参矩阵为RRfin＝[r
x r
y t]；对原始外参矩阵进行重构得到外参矩阵T：其中，旋转矩阵R3×3＝[r
x r
y r
z
]，r
z
＝r
x
×
r
y
。4.根据权利要求3所述的一种基于全景双目视觉的稠密三维地图重建方法，其特征在于，所述步骤S2中，对于每个棋盘格，两个全景相机对应一组外参矩阵T
top
和T
bottom
，T
top
＝T
transform
*T
bottom
，T
transform
为相机坐标系间的变换矩阵；由于棋盘格图像有数对，则T
transform
的优化求解为：s.t.T
transform
∈SE(3)其中，N为棋盘格图像的对数，优化求解采用线性最小二乘法。
5.根据权利要求4所述的一种基于全景双目视觉的稠密三维地图重建方...

【专利技术属性】
技术研发人员：王之丰，鲍宇涵，
申请(专利权)人：杭州环峻科技有限公司，
类型：发明
国别省市：