一种高清多相机全景立体成像系统及方法技术方案

本发明专利技术涉及的高清多相机全景立体成像系统及方法，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，模拟相机模组呈环形排列构架在相机固定架上，图像采集卡分别与模拟相机模组电性相连，镜头分别固定在模拟相机模组上，电源与模拟相机模组均电性相连，主机上安装有图像采集卡驱动，主机与服务器相连，服务器与客户端相连；通过全景相机获取以环形框架为中心的360°环境图像，进行基于单帧全景图像基于SFM算法的三维重建和相邻两帧或多帧图像的三维重建，实现对周围环境全景立体成像。本发明专利技术不仅能够获取实时的高清全景图像，实现基本的全景监控功能，而且图像分辨率高，点云稠密，表面纹理精细。

【技术实现步骤摘要】
一种高清多相机全景立体成像系统及方法
：本专利技术涉及图像通信
，具体是一种高清多相机全景立体成像系统及方法。
技术介绍
：随着相机技术的不断发展，传统的视频监控只能采用单相机对特定的方向进行监视，这样很容易存在监控死角，带来较大的安全隐患。采用全景相机，对周围环境进行全向无死角监视，大大的提高了监控范围，减小安全隐患，是下一代安防监控的趋势。现有的全向视觉产品主要包括以下几类：鱼眼式、折反式、旋转拼接式和多相机拼接式。其中，鱼眼式和折反式全向视觉系统拍摄的图像存在极大的几何畸变，一方面导致图像理解困难，另一方面导致图像分辨率不一致，中间分辨率高、边缘处分辨率大幅降低；旋转拼接式拍摄的全向图像质量最高，但是由于其机械结构复杂，获取一景图像所需拍摄和几何校正时间较长，难以适应移动机器人实时的要求。多相机拼接方式获取全景图像，虽然能避免畸变，大大提高全景图像分辨率，但会存在多幅图像拼缝问题，并且由于多相机拍摄图像带来的数据量大，给视频的压缩和传输带来巨大负担，并且相机成本较高。现有的全景相机基本上都只是获取图像，进行简单视频监控，不能对周围环境进行三维建模及三维量测，对环境建图，实现对机器人的定位与导航。
技术实现思路
：本专利技术为了克服现有技术中存在的上述缺陷，提供了一种高清多相机全景立体成像系统及方法，采用6相机环形排列构架，采用高清模拟相机，配备6路图像采集卡，采集以环形框架为中心的360°环境图像，并对图像进行压缩传输，实现远端实时对周围环境无死角监控。另一方面主要是利用相机之间拍摄图像的重叠区域以及联合每两帧图像之间的重叠区域基于SFM的三维重建，以实现全景相机的周围环境的三维重建功能。为解决上述问题，本专利技术提出的高清多相机全景立体成像系统，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，所述模拟相机模组呈环形排列构架在所述相机固定架上，所述图像采集卡分别与所述模拟相机模组电性相连，所述镜头分别固定在所述模拟相机模组上，所述电源与模拟相机模组均电性相连，所述主机上安装有图像采集卡驱动，采用图像采集卡配套的SDK开发接口，编程同步获取六个模拟相机模组的采集图像，所述主机与服务器相连，所述服务器与客户端相连。上述技术方案中，所述模拟相机模组采用索尼superhard1/3英寸CCD，额定电压为12V，额定电流为50mA，有效像素为720(H)*576(V)。上述技术方案中，所述电源的输出电压为12V，输出电流为1A。上述技术方案中，所述主机的CPU为酷睿双核或以上，内存等于或大于2G，硬盘等于或大于256G，主机的系统为Windows10、windows7以及windowsxp中的任意一种。上述技术方案中，所述相机固定架包括六个环形分布的固定板，相邻固定板之间呈120°固定相连，所述固定板的中心均设置有一相机安装孔。上述技术方案中，所述相机固定架采用3D打印机打印。上述技术方案中，所述主机采用快速的jpeg压缩编码库JPEG-turbo编码，对获取的图像帧进行压缩编码，所述服务器采用boostasioTCP进行图像传输，将压缩后的图像传输到客户端，所述客户端采用对应的boostasioTCP接收压缩图像，并采用JPEG-turbo解码显示，boostasioTC是指boost库中的TCP网络通信接口。本专利技术提出的基于高清多相机全景立体成像系统的高清多相机全景立体成像方法，包括以下步骤：步骤一、通过全景相机获取以环形框架为中心的360°环境图像，并对图像进行压缩传输；步骤二、采用SFM算法对多相机从不同角度拍摄的图像重叠区域进行单帧全景图像三维重建；步骤三、对相邻两帧全景图像进行特征点匹配，获得同名点，采用SFM算法进行多帧全景图像的三维重建，获得多帧全景图像的三维点云；步骤四、根据单帧全景图像中各个相机匹配获得的同名点与多帧全景图像匹配获得的同名点进行比较，进而获得单帧全景图像的同名点对应的到多帧全景图像的同名点，找出同名点对应的三维坐标，解出单帧三维点云与多帧三维点云坐标系之间的转换关系，实现单帧三维点云与多帧三维点云的点云融合；步骤五、将全局的表面二维图像分割成一个个较小的连续而不重叠的三角片面，贴到三维模型表面，实现全景图像的三维模型表面渲染。上述技术方案中，所述步骤二具体包括以下子步骤：子步骤S21、首先采用SIFT算法对六个相机拍摄的六幅图像提取出SIFT特征点，并对SIFT特征点采用SIFT特征描述，用于下一步的特征匹配；子步骤S22、找出第一幅图像中的特征点与第二幅图像中对应特征向量欧式距离最近的两个特征点，计算最近距离与次近距离的比值，将所述比值与设定的比例阈值进行对比，如果这个比值小于比例阈值，则这一对点为一对匹配点，否则不视为匹配点；子步骤S23、利用同名像对的像素坐标，根据公式x’TFx＝0求解出基础矩阵F，再根据正规化系数矩阵还原基础矩阵F；子步骤S24、根据公式E＝K′TFK以及事先标定出的相机的内部参数矩阵K和K’计算出本质矩阵E；子步骤S25、根据公式E＝TxR，利用本质矩阵分解得到旋转参数R和平移参数T，根据P＝K[I|0]，P＝K[R|T]得到相机的投影矩阵；子步骤S26、获得准确的投影矩阵后，联立方程x＝PX和x′＝P′X求解出X；其中x＝λ[ui，vi，l]T，x′＝λ[ui′，vi′，l]T，λ为比例系数。上述技术方案中，所述子步骤S22中SIFT算法特征点匹配时使用KD树加快匹配计算速度，并且采用RANSAC算法进行优化，去除粗匹配，精确匹配结果。本专利技术与现有技术方案相比具有以下有益效果和优点：本专利技术不仅能够获取实时的高清全景图像，实现基本的全景监控功能，并且利用对相机之间的重叠区域进行基于单帧全景图像基于SFM算法的三维重建，进而联合相邻两帧或多帧图像的重叠区域基于SFM算法的三维重建，实现对周围环境全景立体感知，全景相机拍摄的图像具有更高的分辨率，多帧之间重叠度极高，能获取稠密点云，表面纹理渲染效果更加精细。附图说明图1是本专利技术中相机固定架的结构示意图。图2是本专利技术中由本质矩阵分解得到的四种可能相机投影位姿示意图。图中编号说明：1、固定板；2、安装孔。具体实施方式以下结合附图和具体实施例对本专利技术作进一步的详细描述：本实施例中，本专利技术提出的高清多相机全景立体成像系统，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，模拟相机模组呈环形排列构架在相机固定架上，图像采集卡分别与模拟相机模组电性相连，镜头分别固定在模拟相机模组上，电源与模拟相机模组均电性相连，主机上安装有图像采集卡驱动，采用图像采集卡配套的SDK开发接口，编程同步获取六个模拟相机模组的采集图像，主机与服务器相连，服务器与客户端相连。模拟相机模组采用索尼superhard1/3英寸CCD，额定电压为12V，额定电流为50mA，有效像素为720(H)*576(V)。电源的输出电压为12V，输出电流为1A。主机的CPU为酷睿双核或以上，内存等于或大于2G，硬盘等于或大于256G，主机的系统为Windows10、windows7以及windowsxp中的任意一种。相机固定架包括六个环形分布的固定板1，相邻固定板1本文档来自技高网...

【技术保护点】
一种高清多相机全景立体成像系统，其特征在于，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，所述模拟相机模组呈环形排列构架在所述相机固定架上，所述图像采集卡分别与所述模拟相机模组电性相连，所述镜头分别固定在所述模拟相机模组上，所述电源与模拟相机模组均电性相连，所述主机上安装有图像采集卡驱动，采用图像采集卡配套的SDK开发接口，编程同步获取六个模拟相机模组的采集图像，所述主机与服务器相连，所述服务器与客户端相连。

【技术特征摘要】
1.一种高清多相机全景立体成像系统，其特征在于，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，所述模拟相机模组呈环形排列构架在所述相机固定架上，所述图像采集卡分别与所述模拟相机模组电性相连，所述镜头分别固定在所述模拟相机模组上，所述电源与模拟相机模组均电性相连，所述主机上安装有图像采集卡驱动，采用图像采集卡配套的SDK开发接口，编程同步获取六个模拟相机模组的采集图像，所述主机与服务器相连，所述服务器与客户端相连。2.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述模拟相机模组采用索尼superhard1/3英寸CCD，额定电压为12V，额定电流为50mA，有效像素为720(H)*576(V)。3.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述电源的输出电压为12V，输出电流为1A。4.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述主机的CPU为酷睿双核或以上，内存等于或大于2G，硬盘等于或大于256G，主机的系统为Windows10、windows7以及windowsxp中的任意一种。5.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述相机固定架包括六个环形分布的固定板，相邻固定板之间呈120°固定相连，所述固定板的中心均设置有一相机安装孔。6.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述相机固定架采用3D打印机打印。7.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述主机采用快速的jpeg压缩编码库JPEG-turbo编码，对获取的图像帧进行压缩编码，所述服务器采用boostasioTCP进行图像传输，将压缩后的图像传输到客户端，所述客户端采用对应的boostasioTCP接收压缩图像，并采用JPEG-turbo解码显示。8.一种基于权利要求1所述高清多相机全景立体成像系统的高清多相机全景立体成像方法，其特征在于，包括以下步骤：步骤一、通过全景相机获取以环形框架为中心的360°环境图像，并对图...

【专利技术属性】
技术研发人员：罗斌，张云，林国华，刘军，赵青，王伟，陈警，
申请(专利权)人：武汉嫦娥医学抗衰机器人股份有限公司，
类型：发明
国别省市：湖北,42