一种基于光学拼接的同视点环视成像系统及成像方法技术方案

本发明专利技术提供了一种基于光学拼接的同视点环视成像系统及成像方法，包括图像采集单元、相机和反光组件，所述图像采集单元用于获取相机采集的图像信息，所述反光组件包括多棱棱台和反光镜，所述多棱棱台的顶面和底面都为正多边形，顶面的面积大于底面的面积，每个所述多棱棱台的棱面上都设有一个与棱面面积一致的反光镜；每个反光镜的下方都设置一个相机，所述相机用于采集反光镜反射的景象；多个相机透过多棱棱台形成的虚拟视点落在同一点上。本发明专利技术所述的基于光学拼接的同视点环视成像系统及成像方法利用反光镜对光路的弯折作用，将相机与视点分离，消除了相机外壳间的物理遮挡，为多相机共享视点提供了支持。

An imaging system and method based on optical mosaics

The invention provides a panoramic imaging system and imaging method based on optical splicing at the same view point, including an image acquisition unit, a camera and a reflective component, the image acquisition unit is used to acquire image information collected by the camera, the reflective component includes a multi edge bevel and a reflector, the top and bottom of the multi edge bevel are regular polygons, and the top area is larger than the bottom surface Product: a reflector with the same area as the prism is set on the edge of each multi prism; a camera is set under each reflector, which is used to collect the reflected scene of the reflector; the virtual viewpoint formed by multiple cameras through the multi prism falls on the same point. The same view panoramic imaging system and imaging method based on optical splicing use the bending effect of the reflector on the optical path to separate the camera and the view point, eliminate the physical occlusion between the camera shell, and provide support for multiple cameras to share the view point.

【技术实现步骤摘要】
一种基于光学拼接的同视点环视成像系统及成像方法
本专利技术属于虚拟成像
，尤其是涉及一种基于光学拼接的同视点环视成像系统及成像方法。
技术介绍
近些年来，高分辨率的全景图像被越来越广泛地应用在人工智能的各个领域用以满足着各种各样场景的需求，例如虚拟仿真环境、自动驾驶道路检测、遥观测以及环境的三维重建等。目前很多研究都是针对全景视觉成像问题而开展的，而全景视觉也凭借其高分辨率、大视场以及场景观察连续性等特点在各种传统视觉问题上显示出了自身的优势和发展潜力。根据成像原理与拼接方法的差异，当前的主要研究方法有以下四种：基于鱼眼镜头的全景光学系统、折反光学系统、多相机多视点成像系统以及同视点成像系统。基于鱼眼镜头的全景光学系统优点是视场角较大，结构简单，操作简便，无需图像拼接。但图像畸变和渐晕现象严重，且分辨率受感光元件像素和镜头质量限制，照度在中心和边缘区域也相距甚远。折反光学系统几乎完全不存在成像渐晕问题，且结构简单，无需图像拼接、相机标定以及照度校正处理，但畸变严重。多相机多视点成像系统的应用最为广泛，但由于前景和背景之间存在视差，无法直接拼接，因此需要特征匹配等算法的支持，虽有较高的准确性，但实时性较差。
技术实现思路
有鉴于此，本专利技术旨在提出一种基于光学拼接的同视点环视成像系统及成像方法，以解决现有的全景光学成像系统畸变严重、实用性较差的问题。为达到上述目的，本专利技术的技术方案是这样实现的：一种基于光学拼接的同视点环视成像系统，包括图像采集单元、相机和反光组件，所述图像采集单元用于获取相机采集的图像信息，所述反光组件包括多棱棱台和反光镜，所述多棱棱台的顶面和底面都为正多边形，顶面的面积大于底面的面积，每个所述多棱棱台的棱面上都设有一个与棱面面积一致的反光镜；每个反光镜的下方都设置一个相机，所述相机用于采集反光镜反射的景象；多个相机透过多棱棱台形成的虚拟视点落在同一点上。进一步的，所述多棱棱台为六棱台，所述六棱台反向设置，六棱台的顶面面积大于地面面积；所述相机为6个。进一步的，还包括图像矩阵剪切单元、图像矩阵拼接单元、图像输出单元；所述图像矩阵剪切单元用于剪切相邻相机采集的重合部分的图像；图像矩阵拼接单元用于对剪切后的图像进行拼接；所述图像输出单元用于输出拼接后的环视全景图像。一种基于光学拼接的同视点环视成像方法，包括：S1、离线采集各相机对应标定板图像以及虚拟视点位置，进行相机标定和调整位移计算；所述标定板包括三块首尾依次连接设置的子标定板，相邻的子标定板之间的夹角为120°，每个子标定板的中心位置都设有棋盘格；S2、根据计算结果对相机位置进行调整；S3、确定相邻相机视场重合范围，得到待剪切、拼接边缘位置；S4、多相机同时采集图像，在线进行图像矩阵剪切、拼接，输出拼接后的全景图像。进一步的，所述步骤S1的具体方法如下：S101、设多个相机的虚拟视点重合的点为目标视点，根据多棱棱台、反光镜的特征数据参数，确定标定板和相机的摆放位置，使每个相机的虚拟视点最终与目标视点重合；S102、根据采集到的每个相机对应的标定板的图像信息，分别对每台相机的内、外参数进行标定；S103、由外参数矩阵计算相机虚拟视点与目标视点坐标间的差异，根据该差异确定相机的调整位置。进一步的，所述步骤S103的具体方法如下：多棱棱台为六棱台，下方对应设有六台相机，对六台相机从1至6进行标号，将人为设定的目标视点设为Ov，已知目标视点在子标定板坐标系中的坐标为定值，设为Xo,且对应在子标定板虚像坐标系中为Xm，则位置调整过程结束后，各相机虚拟视点坐标应与Xm相同；设第k台相机自身坐标系到第k面反光镜中第k张子标定板的虚拟坐标系中的变换为以及相机虚拟视点在虚拟子标定板坐标系中坐标设相机坐标系原点为则得到：将Xm到的相机平移变换加入上式，令该位移为其中X＝[ΔxΔyΔz]T，Δx,Δy,Δz是相对第k台相机坐标系而言的，对应x轴、y轴、z轴方向上的微量调整位移；则此时上式可补充为：通过调整相机位置使调整后的与Xm重合；当与Xm之间的距离缩小到允许阈值范围内时，则认为当前的位移调整量Mk为符合要求的相机位移信息。进一步的，所述步骤S2中，根据步骤S103的计算结果，调整相机的位置；虚拟视点与目标视点的距离阈值为0.05毫米。进一步的，所述步骤S3中，根据水平方向几何渐晕情况以及相机视场角信息确定视场重合区域边缘，保证每台相机的有效保留视场角为60度。相对于现有技术，本专利技术所述的基于光学拼接的同视点环视成像系统及成像方法具有以下优势：(1)本专利技术所述的基于光学拼接的同视点环视成像系统及成像方法利用反光镜对光路的弯折作用，将相机与视点分离，消除了相机外壳间的物理遮挡，为多相机共享视点提供了支持；利用改进联合标定板显式地表示了相机与目标视点间的坐标变换关系，并能实现相机位置的精确调整。(2)本专利技术所述的基于光学拼接的同视点环视成像系统及成像方法利用光学拼接，图像处理过程只涉及了矩阵剪切与拼接，无需特征匹配等算法支持，具有良好的实时性。附图说明构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例所述的多相机联合标定与定位方法的结构框图；图2为本专利技术实施例所述的系统整体结构示意图；图3为本专利技术实施例所述的改进联合标定板示意；图4为本专利技术实施例所述的光学成像关系示意图；图5为本专利技术实施例所述的坐标系变换关系示意图；图6为本专利技术实施例所述的光学仿真实验结果；图7为本专利技术实施例所述的虚拟仿真实验结果。具体实施方式需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也本文档来自技高网...

【技术保护点】
1.一种基于光学拼接的同视点环视成像系统，其特征在于：包括图像采集单元、相机和反光组件，所述图像采集单元用于获取相机采集的图像信息，所述反光组件包括多棱棱台和反光镜，所述多棱棱台的顶面和底面都为正多边形，顶面的面积大于底面的面积，每个所述多棱棱台的棱面上都设有一个与棱面面积一致的反光镜；/n每个反光镜的下方都设置一个相机，所述相机用于采集反光镜反射的景象；/n多个相机透过多棱棱台形成的虚拟视点落在同一点上。/n

【技术特征摘要】
1.一种基于光学拼接的同视点环视成像系统，其特征在于：包括图像采集单元、相机和反光组件，所述图像采集单元用于获取相机采集的图像信息，所述反光组件包括多棱棱台和反光镜，所述多棱棱台的顶面和底面都为正多边形，顶面的面积大于底面的面积，每个所述多棱棱台的棱面上都设有一个与棱面面积一致的反光镜；
每个反光镜的下方都设置一个相机，所述相机用于采集反光镜反射的景象；
多个相机透过多棱棱台形成的虚拟视点落在同一点上。


2.根据权利要求1所述的基于光学拼接的同视点环视成像系统，其特征在于：所述多棱棱台为六棱台，所述六棱台反向设置，六棱台的顶面面积大于地面面积；
所述相机为6个。


3.根据权利要求1所述的基于光学拼接的同视点环视成像系统，其特征在于：还包括图像矩阵剪切单元、图像矩阵拼接单元、图像输出单元；
所述图像矩阵剪切单元用于剪切相邻相机采集的重合部分的图像；
图像矩阵拼接单元用于对剪切后的图像进行拼接；
所述图像输出单元用于输出拼接后的环视全景图像。


4.一种应用于权利要求1所述的基于光学拼接的同视点环视成像系统的成像方法，其特征在于，包括：
S1、离线采集各相机对应标定板图像以及虚拟视点位置，进行相机标定和调整位移计算；
所述标定板包括三块首尾依次连接设置的子标定板，相邻的子标定板之间的夹角为120°，每个子标定板的中心位置都设有棋盘格；
S2、根据计算结果对相机位置进行调整；
S3、确定相邻相机视场重合范围，得到待剪切、拼接边缘位置；
S4、多相机同时采集图像，在线进行图像矩阵剪切、拼接，输出拼接后的全景图像。


5.根据权利要求4所述的基于光学拼接的同视点环视成像方法，其特征在于，所述步骤S1的具体方法如下：
S101、设多个相机的虚拟视点重合的点为目...

【专利技术属性】
技术研发人员：王鸿鹏，李耀晶，黄大刚，
申请(专利权)人：南开大学，
类型：发明
国别省市：天津;12