基于多视点的环形异构全景深度感知装置和三维重建方法制造方法及图纸

本发明专利技术公开了一种基于多视点的环形异构全景深度感知装置和三维重建方法。全景深度感知装置包括环形固定支架，环形固定支架上沿周向等间隔固定有多个全局重建辅助相机，每相邻两个全局重建辅助相机的中间固定有一个全局合成相机；每个全局合成相机的位置上沿环形固定支架的轴向还相应固定有一个阵列相机固定支架，每个阵列相机固定支架的中部固定在环形固定支架上，每个阵列相机固定支架的两端均各固定有一个局部相机。本发明专利技术提出的全景深度感知装置和三维重建方法，结合了多相机视觉和深度学习的优势，利用局部相机，通过融合方法得到全景图像和全景深度感知结果；本发明专利技术对数据的依赖更少，泛化能力更强，在大场景下也能容易地实现数据的标定。易地实现数据的标定。易地实现数据的标定。

【技术实现步骤摘要】
基于多视点的环形异构全景深度感知装置和三维重建方法


[0001]本申请涉及计算成像
，特别是涉及一种基于多视点的环形异构全景深度感知装置和三维重建方法。

技术介绍

[0002]根据技术调研情况，全景合成多用于安防、消费娱乐等领域，如大场景监控、全景看房、百度街景拍摄等，拥有广泛的应用领域和价值。全景合成算法解决了二维全景图像合成问题，随着人工智能逐渐在三维领域崭露头角，在三维视觉空间中全景高分辨空间将有更多的应用价值。
[0003]为实现全景高分辨三维重建，现有方法分为深度学习方法和传统多视图几何方法。其中，深度学习方法过于依赖数据，尤其是单目深度估计，泛化能力存在巨大挑战，导致基于深度学习的单目重建难以在实际场景中稳定运行；而而对称性双目结构虽然可以直接获取深度，但在大场景中标定非常困难。传统多视图几何方法，在经历多年的发展后，在性能上达到了瓶颈，难以在无纹理、运动模糊等场景下使用，且标定也很困难。

技术实现思路

[0004]基于此，针对上述技术问题，提供一种基于多视点的环形异构全景深度感知装置和三维重建方法。
[0005]第一方面，一种基于多视点的环形异构全景深度感知装置，包括环形固定支架，所述环形固定支架上沿周向等间隔固定有多个全局重建辅助相机，每相邻两个全局重建辅助相机的中间固定有一个全局合成相机；每个全局合成相机的位置上沿环形固定支架的轴向还相应固定有一个阵列相机固定支架，每个阵列相机固定支架的中部固定在所述环形固定支架上，每个阵列相机固定支架的两端均各固定有一个局部相机；每个阵列相机固定支架上的两个局部相机和该阵列相机固定支架相应的全局合成相机构成一组阵列相机；
[0006]多个全局重建辅助相机和多个全局合成相机分别对应覆盖环形固定支架周向的多个外围区域，相邻的全局重建辅助相机和全局合成相机具有感知重叠区域；每个全局合成相机的垂直视场角大于或等于局部相机的垂直视场角的2倍。
[0007]可选地，所述环形固定支架上等间隔固定有九个全局重建辅助相机，相应全局合成相机共有九个。
[0008]进一步可选地，每个全局重建辅助相机的水平视角和每个全局合成相机的水平视角均大于或等于60
°
，每个全局合成相机和局部相机的感知图像分辨率均大于或等于1400万像素。
[0009]进一步可选地，所有全局重建辅助相机和所有全局合成相机的视场光轴均与所述环形固定支架共面。
[0010]进一步可选地，所有全局重建辅助相机和所有全局合成相机的型号完全一致。
[0011]第二方面，一种基于多视点的环形异构全景三维重建方法，包括：
[0012]步骤一，搭建上述环形异构全景深度感知装置，对其中的全局相机进行视觉标定，得到18个全局相机的内参和相邻全局相机的外参矩阵，并基于全局重建辅助相机，计算得到所有全局合成相机之间的外参矩阵；
[0013]步骤二，根据18个全局相机的内参和相邻全局相机的外参矩阵，计算得到每个全局合成相机视角下的稠密深度图；
[0014]步骤三，利用搭建的环形异构全景深度感知装置进行图像的采集，在同一时间戳下得到9组阵列相机数据，包括9张全局合成相机拍摄的全局合成相机图像和18张局部相机拍摄的局部相机图像；计算9张全局合成相机图像中每对相邻图像之间的变形矩阵，并利用得到的变形矩阵进行全景图像和稠密深度图的融合，得到全景图像I
G
和全景深度感知结果D
G
。
[0015]可选地，所述步骤一具体包括：
[0016]搭建上述环形异构全景深度感知装置，并将其中18个全局相机依次从1至18进行编号，奇数编号为全局相机中的全局重建辅助相机，偶数编号为全局相机中的全局合成相机；
[0017]基于张正友标定法，使用棋盘格对环形异构全景深度感知装置中的全局相机和相邻全局相机进行视觉标定，得到18个全局相机的内参邻全局相机进行视觉标定，得到18个全局相机的内参其中，代表全局相机中的全局重建辅助相机的内参，代表全局相机中的全局合成相机的内参；以及得到相邻全局相机的外参矩阵{T
1，2
，T
2,3
，...，T
17，18
，T
18,1
}，每个外参矩阵包含一个旋转矩阵R和一个平移向量t；
[0018]m依次取2,4,6
…
16，对每个m执行以下操作：
[0019]根据m号全局合成相机与m+1号全局重建辅助相机之间的外参T
m,m+1
{R
m,m+1
，t
m,m+1
}，以及m+1号全局重建辅助相机与m+2号全局合成相机之间的外参T
m+1,m+2
{R
m+1,m+2
，t
m+1,m+2
}，计算得到m号全局合成相机与m+2号全局合成相机之间的外参T
m,m+2
{R
m,m+2
，t
m,m+2
}，其中：
[0020]R
m,m+2
＝R
m+1，m+2
*R
m,m+1
[0021]t
m,m+2
＝R
m+1,m+2
t
m,m+1
+t
m+1,m+2
；
[0022]由此计算得到所有全局合成相机之间的外参矩阵。
[0023]进一步可选地，所述步骤二具体包括：
[0024]将m
‑
1号全局重建辅助相机和m号全局合成相机作为立体相机对，基于m
‑
1号全局重建辅助相机和m号全局合成相机的内外参数和T
m
‑
1,m
，以及m
‑
1号全局重建辅助相机和m号全局合成相机组成的立体图像对I
m
‑1和I
m
，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到m号全局合成相机视角下的第一稠密深度图D
m
‑
1,m
；
[0025]将m号全局合成相机和m+1号全局重建辅助相机作为立体相机对，基于m号全局合成相机和m+1号全局重建辅助相机的内外参数和T
m,m+1
，以及m号全局合成相机和m+1号全局重建辅助相机组成的立体图像对I
m
和I
m+1
，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到m号全局合成相机视角
下的第二稠密深度图D
m,m+1
；
[0026]获取m
‑
1号全局重建辅助相机和m号全局合成相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩M
m
‑
1,m
，以及获取m号全局合成相机和m+1号全局重建辅助相机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视点的环形异构全景深度感知装置，其特征在于，包括环形固定支架，所述环形固定支架上沿周向等间隔固定有多个全局重建辅助相机，每相邻两个全局重建辅助相机的中间固定有一个全局合成相机；每个全局合成相机的位置上沿环形固定支架的轴向还相应固定有一个阵列相机固定支架，每个阵列相机固定支架的中部固定在所述环形固定支架上，每个阵列相机固定支架的两端均各固定有一个局部相机；每个阵列相机固定支架上的两个局部相机和该阵列相机固定支架相应的全局合成相机构成一组阵列相机；多个全局重建辅助相机和多个全局合成相机分别对应覆盖环形固定支架周向的多个外围区域，相邻的全局重建辅助相机和全局合成相机具有感知重叠区域；每个全局合成相机的垂直视场角大于或等于局部相机的垂直视场角的2倍。2.根据权利要求1所述的基于多视点的环形异构全景深度感知装置，其特征在于，所述环形固定支架上等间隔固定有九个全局重建辅助相机，相应全局合成相机共有九个。3.根据权利要求2所述的基于多视点的环形异构全景深度感知装置，其特征在于，每个全局重建辅助相机的水平视角和每个全局合成相机的水平视角均大于或等于60
°
，每个全局合成相机和局部相机的感知图像分辨率均大于或等于1400万像素。4.根据权利要求3所述的基于多视点的环形异构全景深度感知装置，其特征在于，所有全局重建辅助相机和所有全局合成相机的视场光轴均与所述环形固定支架共面。5.根据权利要求4所述的基于多视点的环形异构全景深度感知装置，其特征在于，所有全局重建辅助相机和所有全局合成相机的型号完全一致。6.一种基于多视点的环形异构全景三维重建方法，其特征在于，包括：步骤一，搭建权利要求3所述的环形异构全景深度感知装置，对其中的全局相机进行视觉标定，得到18个全局相机的内参和相邻全局相机的外参矩阵，并基于全局重建辅助相机，计算得到所有全局合成相机之间的外参矩阵；步骤二，根据18个全局相机的内参和相邻全局相机的外参矩阵，计算得到每个全局合成相机视角下的稠密深度图；步骤三，利用搭建的环形异构全景深度感知装置进行图像的采集，在同一时间戳下得到9组阵列相机数据，包括9张全局合成相机拍摄的全局合成相机图像和18张局部相机拍摄的局部相机图像；计算9张全局合成相机图像中每对相邻图像之间的变形矩阵，并利用得到的变形矩阵通过神经网络进行全景图像和稠密深度图的融合，得到全景图像I
G
和全景深度感知结果D
G
。7.根据权利要求6所述的基于多视点的环形异构全景三维重建方法，其特征在于，所述步骤一具体包括：搭建权利要求3所述的环形异构全景深度感知装置，并将其中18个全局相机依次从1至18进行编号，奇数编号为全局相机中的全局重建辅助相机，偶数编号为全局相机中的全局合成相机；基于张正友标定法，使用棋盘格对环形异构全景深度感知装置中的全局相机和相邻全局相机进行视觉标定，得到18个全局相机的内参定，得到18个全局相机的内参其中，代表全局相机中的全局重建辅助相机的内参，代表全局相机中的全局合成相机的内参；以及得到相邻全局相机
的外参矩阵{T
1，2
，T
2，3
，...，T
17，18
，T
18，1
}，每个外参矩阵包含一个旋转矩阵R和一个平移向量t；m依次取2，4，6
…
16，对每个m执行以下操作：根据m号全局合成相机与m+1号全局重建辅助相机之间的外参T
m，m+1
{R
m，m+1
，t
m，m+1
}，以及m+1号全局重建辅助相机与m+2号全局合成相机之间的外参T
m+1，m+2
{R
m+1，m+2
，t
m+1，m+2
}，计算得到m号全局合成相机与m+2号全局合成相机之间的外参T
m，m+2
{R
m，m+2
，t
m，m+2
}，其中：R
m，m+2
＝R
m+1，m+2
*R
m，m+1
t
m，m+2
＝R
m+1，m+2
t
m，m+1
+t
m+1，m+2
；由此计算得到所有全局合成相机之间的外参矩阵。8.根据权利要求7所述的基于多视点的环形异构全景三维重建方法，其特征在于，所述步骤二具体包括：将m
‑
1号全局重建辅助相机和m号全局合成相机作为立体相机对，基于m
‑
1号全局重建辅助相机和m号全局合成相机的内外参数和T
m
‑
1，m
，以及m
‑
1号全局重建辅助相机和m号全局合成相机组成的立体图像对I
m
‑1和I
m
，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到m号全局合成相机视角下的第一稠密深度图D
m
‑
1，m
；将m号全局合成相机和m+1号全局重建辅助相机作为立体相机对，基于m号全局合成相机和m+1号全局重建辅助相机的内外参数和T
m，m+1
，以及m号全局合成相机和m+1号全局重建辅助相机组成的立体图...

【专利技术属性】
技术研发人员：刘威，邵航，林浩哲，夏晗，
申请(专利权)人：浙江未来技术研究院嘉兴，
类型：发明
国别省市：