全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统技术方案

本发明专利技术公开了全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统，寻找目标空间，进行创建全景光学目标空间；利用全景鱼眼相机对全景光学目标空间的全景图像进行拍摄；创建全景鱼眼摄像机的内部参数校准模型；创建全景图像以及全景光学目标空间的图像拼接参数模型；建立全景图像以及全景光学目标空间的空间深度变换参数模型；可以植入简化的3D深度算法，在单片机上执行，因此鱼眼摄像机的图像校准系统可以即时校准，便于携带，另外，将简化所需的生产校准过程并节省时间，且在全景鱼眼相机对目标拍摄的同时，采用三维激光扫描仪对目标空间进行扫描，生成三维立体图像，与上述的3D全景图形进行对比校准，进一步提供图像的真实性。

Method and System of Image Calibration, Stitching and Depth Reconstruction for Panoramic Fisheye Camera

【技术实现步骤摘要】
全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统
本专利技术属于3D全景拍摄
，具体涉及全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统。
技术介绍
当在世界上创建相机时，人们开始通过图像记录他们的日常生活或历史中的重要事件。对于摄影技术和设备，低清晰度黑白图像已经发展到高清彩色图像和高速摄像机，可以提前每秒拍摄20亿帧。另外，关于摄影的视觉效果，不仅可以拍摄平面图像而且可以拍摄3D图像。在现有技术中，通过利用3D相机的双镜头相机拍摄3D图像，但是3D图像可以在一些视角内拍摄，这些视角受到设备摄影范围的限制，或者360度周围的全景图像由持有相机并转过身的摄影师拍摄。然而，摄影师必须花费大量时间来利用这种方法拍摄全景图像，因此，采用多个3D相机来拍摄3D全景图像的方法，现在存在三个摄像机到几十个摄像机的配置，但它们都属于单眼视觉系统，因为相机的照片范围重叠较少，并且通过利用视差不能计算或获取深度信息，且虚拟现实和增强现实的3D信息需要深度信息。因此，如何通过使用相机获得3D深度信息非常重要。
技术实现思路
本专利技术的目的在于提供全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统，以解决上述
技术介绍
中提出的相机的照片范围重叠较少，并且通过利用视差不能计算或获取深度信息，且虚拟现实和增强现实的3D信息需要深度信息的问题。为实现上述目的，本专利技术采用了如下技术方案：全景鱼眼摄像机的图像校准，缝合和深度重建方法，包括如下步骤：S100：寻找目标空间，进行创建全景光学目标空间；S120：利用全景鱼眼摄像机对所述全景光学目标空间的全景图像进行拍摄；S130：创建全景鱼眼摄像机的内部参数校准模型；S140：创建全景图像以及所述全景光学目标空间的图像拼接参数模型；S150：建立全景图像以及所述全景光学目标空间的空间深度变换参数模型；S160：利用图像拼接参数模型，使空间的深度变换参数模型和内部参数的校准模型来生成3D全景图像，其包括全景深度信息；S170：利用三维激光扫描仪对目标空间进行扫描，使扫描的三维图像与生成的3D全景图形进行比对，对3D全景图形进行校准。优选的，所述图像拼接参数模型包括优化参数，采集内部参数校准模型，所述图像拼接参数模型和空间深度，来自每个所述全景鱼眼摄像机的变换参数模型。优选的，所述优化参数用于优化内部参数校准模型，所述图像拼接参数模型和空间深度借助于机器学习的变换参数模型，其中机器学习所使用的算法包括支持向量机。优选的，所述优化参数用于更新内部参数校准模型、所述图像拼接参数模型和空间深度转换参数模型。全景鱼眼摄像机的图像校准，缝合和深度重建系统，包括所述全景鱼眼摄像机和三维激光扫描仪，所述全景鱼眼摄像机包括四个鱼眼镜头、四个CMOS传感器模块和全景图像和全景深度信息模块，其中，相邻所述鱼眼镜头的拍摄方向的交角为90度；所述全景图像和全景深度信息模块包括内部参数校准模块和存储在其中的内部参数校准模型，其中，所述内部参数校准模块用于提供坐标变换模型之间的坐标变换模型的所需参数；所述CMOS传感器模块包括图像拼接模块和存储在其中的所述图像拼接参数模型、空间深度变换参数模块和存储在其中的空间深度变换参数模型，其中，所述图像拼接模块用于将所述全景鱼眼摄像机拍摄的全景图像拼接成全景图片，所述空间深度变换参数模块用于在所述全景鱼眼摄像机中提供2D平面图像与3D空间中物体深度之间的变换模型，得到全景深度信息；全景图像中的每个像素和计算模块与用于生成所述全景图像和全景深度信息模块电连接，其中，所述像素和计算模块用于校准和拼接全景图片和全景深度信息，以生成3D全景图像。优选的，所述计算模块还包括优化模块，与所述优化模块电连接，用于生成全景图像和全景深度信息，其中，所述优化模块可以累积参数数据通过从每个所述全景鱼眼摄像机收集内部参数校准模型，所述图像拼接参数模型和空间深度变换参数模型，然后通过机器学习方法优化参数数据。优选的，所述机器学习所使用的算法包括支持向量机。优选的，所述内部参数校准模块、所述图像拼接模块和所述空间深度变换参数模块集成为单个芯片或者可以是单个芯片。本专利技术的技术效果和优点：本专利技术提出的全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统，与现有技术相比，具有以下优点：本专利技术可以快速获取全景图像和深度信息，并且可以通过机器学习方法优化校准参数以累积数据，因此，促进了全景拼接图片的质量和全景深度信息的精度，从而简化了3D深度算法并提高了计算效率。此外，可以植入简化的3D深度算法，在单片机上执行，因此鱼眼摄像机的图像校准系统可以即时校准，便于携带。另外，将简化所需的生产校准过程并节省时间，且在全景鱼眼相机对目标拍摄的同时，采用三维激光扫描仪对目标空间进行扫描，生成三维立体图像，与上述的3D全景图形进行对比校准，进一步提供图像的真实性。附图说明图1为本专利技术的流程图；图2为本专利技术的系统图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供了如图1所示的全景鱼眼摄像机的图像校准，缝合和深度重建方法，包括以下步骤：S100：寻找目标空间，进行创建全景光学目标空间；S120：利用全景鱼眼摄像机对所述全景光学目标空间的全景图像进行拍摄；S130：创建全景鱼眼摄像机的内部参数校准模型；S140：创建全景图像以及所述全景光学目标空间的图像拼接参数模型；S150：建立全景图像以及所述全景光学目标空间的空间深度变换参数模型；S160：利用图像拼接参数模型，使空间的深度变换参数模型和内部参数的校准模型来生成3D全景图像，其包括全景深度信息；S170：利用三维激光扫描仪对目标空间进行扫描，使扫描的三维图像与生成的3D全景图形进行比对，对3D全景图形进行校准。本实施例中，具体的：所述图像拼接参数模型包括优化参数，采集内部参数校准模型，所述图像拼接参数模型和空间深度，来自每个所述全景鱼眼摄像机的变换参数模型。本实施例中，具体的：所述优化参数用于优化内部参数校准模型，所述图像拼接参数模型和空间深度借助于机器学习的变换参数模型，其中机器学习所使用的算法包括支持向量机。本实施例中，具体的：所述优化参数用于更新内部参数校准模型、所述图像拼接参数模型和空间深度转换参数模型。本专利技术提供了如图2所示的全景鱼眼摄像机的图像校准，缝合和深度重建系统，包括所述全景鱼眼摄像机和三维激光扫描仪，所述全景鱼眼摄像机包括四个鱼眼镜头、四个CMOS传感器模块和全景图像和全景深度信息模块，其中，相邻所述鱼眼镜头的拍摄方向的交角为90度；所述全景图像和全景深度信息模块包括内部参数校准模块和存储在其中的内部参数校准模型，其中，所述内部参数校准模块用于提供坐标变换模型之间的坐标变换模型的所需参数；所述CMOS传感器模块包括图像拼接模块和存储在其中的所述图像拼接参数模型、空间深度变换参数模块和存储在其中的空间深度变换参数模型，其中，所述图像拼接模块用于将所述全景鱼眼摄本文档来自技高网...

【技术保护点】
1.全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：包括如下步骤：S100：寻找目标空间，进行创建全景光学目标空间；S120：利用全景鱼眼摄像机对所述全景光学目标空间的全景图像进行拍摄；S130：创建全景鱼眼摄像机的内部参数校准模型；S140：创建全景图像以及所述全景光学目标空间的图像拼接参数模型；S150：建立全景图像以及所述全景光学目标空间的空间深度变换参数模型；S160：利用图像拼接参数模型，使空间的深度变换参数模型和内部参数的校准模型来生成3D全景图像，其包括全景深度信息；S170：利用三维激光扫描仪对目标空间进行扫描，使扫描的三维图像与生成的3D全景图形进行比对，对3D全景图形进行校准。

【技术特征摘要】
1.全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：包括如下步骤：S100：寻找目标空间，进行创建全景光学目标空间；S120：利用全景鱼眼摄像机对所述全景光学目标空间的全景图像进行拍摄；S130：创建全景鱼眼摄像机的内部参数校准模型；S140：创建全景图像以及所述全景光学目标空间的图像拼接参数模型；S150：建立全景图像以及所述全景光学目标空间的空间深度变换参数模型；S160：利用图像拼接参数模型，使空间的深度变换参数模型和内部参数的校准模型来生成3D全景图像，其包括全景深度信息；S170：利用三维激光扫描仪对目标空间进行扫描，使扫描的三维图像与生成的3D全景图形进行比对，对3D全景图形进行校准。2.根据权利要求1所述的全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：所述图像拼接参数模型包括优化参数，采集内部参数校准模型，所述图像拼接参数模型和空间深度，来自每个所述全景鱼眼摄像机的变换参数模型。3.根据权利要求1所述的全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：所述优化参数用于优化内部参数校准模型，所述图像拼接参数模型和空间深度借助于机器学习的变换参数模型，其中机器学习所使用的算法包括支持向量机。4.根据权利要求1所述的全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：所述优化参数用于更新内部参数校准模型、所述图像拼接参数模型和空间深度转换参数模型。5.全景鱼眼摄像机的图像校准，缝合和深度重建系统，其特征在于：包括所述全景鱼眼摄像机和三维激光扫描仪，所述全景鱼眼摄像机包括四个鱼眼镜头、四个CMOS...

【专利技术属性】
技术研发人员：崔岩，刘兴林，李少勇，刘强，
申请(专利权)人：五邑大学，中德珠海人工智能研究院有限公司，珠海市四维时代网络科技有限公司，
类型：发明
国别省市：广东,44