本发明专利技术提供了利用旋转对称广角透镜获得全景和直线性图像的方法和装置。用于从利用装配有广角透镜的照相机得到的数字化图像中获取看上去自然的全景图像和直线性图像的数学上精确的图像处理算法以及实施这些算法的设备，其中所述广角透镜绕光轴旋转对称。采用该方法的成像系统不仅能够用在用于室内和室外环境的安全监控应用中，而且还能用在诸如用于公寓入口门的视频电话、用于车辆的后视照相机、用于无人机和自动机械的视觉传感器、照相机电话、PC照相机以及广播照相机的多种领域中。此外，其能够采用数字照相机获得全景或直线性照片。
【技术实现步骤摘要】
利用旋转对称广角透镜获得全景和直线性图像的方法和装置本申请是2008年7月24日提出的、申请号为200880108548.0、名称为“利用旋转对称广角透镜获得全景和直线性图像的方法和装置”的专利技术申请的分案申请。
本专利技术一般涉及从利用装配有广角透镜的照相机得到的图像中获取无失真直线性图像和全景图像的数学上精确的图像处理方法、以及利用该方法的设备，该直线性图像和全景图像对裸眼呈现得最为自然，该广角透镜绕光轴旋转对称。
技术介绍
捕捉诸如旅游胜地的景色优美的地方的360°视图的全景照相机是全景成像系统的示例。全景成像系统是从给定点捕捉一个人能够通过做出一个完整的转向所得到的视图的成像系统。另一方面，全向成像系统从给定点捕捉每个可能方向的视图。全向成像系统提供一个人从给定位置通过转向以及上下看所能观察到的视图。在数学术语中，能够由成像系统捕捉的区域的立体角为4π球面度。不仅在诸如拍摄建筑物、自然景物以及天体的传统领域中，而且在利用CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）照相机的安全/监视系统中，在房地产、旅馆以及旅游胜地的虚拟旅游中，以及在用于移动式遥控装置和无人机（UAV）的导航设备中，对全景成像系统都已经进行了大量的研究和发展。获得全景图像的一个方法是使用具有宽的视场（FOV）的鱼眼透镜。例如，整个天空和地平线能够通过将装配有具有180°FOV的鱼眼透镜指向天顶（即，将照相机的光轴调整为垂直于地平面）而捕捉在单个图像中。由于这个原因，鱼眼透镜已经经常被称为“全天空透镜”。尤其是，Nikon的高端鱼眼透镜，即，6mmf/5.6鱼眼-Nikkor，具有220°的FOV。因此，装配有该透镜的照相机能够捕捉到该照相机的部分后部以及该照相机的前部。因而，在适当的图像处理之后，能够从这样获得的鱼眼图像来获得全景图像。在很多情况下，成像系统安装在竖直墙壁上。安装在建筑物的外墙上的用于监控环境的成像系统或者以及用于监控客车后部的后视照相机便是这样的实例。在这些情况下，如果水平视场明显大于180°，则效率较低。这是因为无需监控的墙壁在监视屏中占据较大的空间。在这种情况下浪费了像素，并且屏幕显得迟钝。因此，对于这些情况，180°左右的水平FOV更为合适。然而，对于这种应用来说，具有180°FOV的鱼眼透镜不是理想的。这是因为伴随鱼眼透镜的桶形失真引起心理上的不适并且被消费者所痛恨。摇拍-俯仰-缩放照相机是能够安装在内部墙壁用于监控整个房间的成像系统的实例。这种照相机由装配有光学变焦透镜的摄像机组成，其安装在摇拍-俯仰物台上。摇拍是对于给定角度在水平方向上的旋转操作，而仰俯是对于给定角度在竖直方向上的旋转操作。换言之，如果我们假设照相机位于天球的中心，则摇拍是改变经度的操作，而仰俯是改变纬度的操作。因此，摇拍操作的理论范围是360°，而仰俯操作的理论范围是180°。摇拍-俯仰-缩放照相机的缺点包括高价、较大尺寸以及较重的重量。由于设计的困难以及复杂的结构，光学变焦透镜大、重且昂贵。此外，摇拍-俯仰物台也是不比照相机便宜的昂贵设备。因此，安装摇拍-俯仰-缩放照相机需要花费大量的金钱。此外，由于摇拍-俯仰-缩放照相机大且重，因而这点对某些应用可能成为阻碍。这些情况的实例包括有效负载的重量非常重要的飞机，或者存在严格的尺寸限制来在受限的空间安装照相机。此外，因为摇拍-俯仰-缩放操作为机械操作，因而较为耗时。因此，取决于将进行的具体应用，这种机械操作可能不够快速。参考文献1和2提供了从具有其他非所期望观察点或投影方案的图像中获取具有特定观察点或投影方案的图像的基本技术。具体地，参考文献2提供了立方体全景图的实例。简言之，立方体全景图为一种特殊的显示技术，其中，假定观察者位于由玻璃制成的虚构立方体房间的正中央，而在该玻璃房间的中心外部的视图直接转录在玻璃墙壁的、从物体到观察者的光线矢量与玻璃墙壁相交的区域。在上述参考文献中提供了更加先进的技术的实例，利用该技术，能够计算从任意形状的镜面的反射。具体地，参考文献2的作者创建了如同由金属表面制成的具有高度反射的镜类皮肤的虚构蜥蜴，然后建立与该蜥蜴分开的观察者的观察点，并计算从虚构观察者的观察点的在蜥蜴皮肤上反射的虚构环境。然而，该环境不是由光学透镜捕捉的真实环境，而是用虚构无失真针孔照相机捕捉的计算机创建的虚拟环境。另一方面，在参考文献3中描述的成像系统能够执行摇拍-俯仰-缩放操作而没有物理移动部分。所述专利技术利用装配有具有大于180°FOV的鱼眼透镜来给环境照相。因而，用户利用诸如操纵杆的多种设备指定景象的主方向，基于此，计算机从能够通过将无失真照相机朝向该特定方向而获得的鱼眼图像中获取直线性图像。该专利技术和现有技术之间的主要区别在于该专利技术创建了与用户采用诸如操纵杆或计算机鼠标的设备指定的特定方向相对应的直线性图像。在虚拟现实领域，或者当期望替代机械摇拍-俯仰-缩放照相机时，该技术是核心技术，并且关键词是“交互式照片”。在该技术中，在照相机中没有物理移动部件。因此，系统反应快速，并且机械故障的概率更低。通常，当安装诸如安全照相机的成像系统时，需要进行预防措施以使得垂直于水平面的竖直线在所获取的图像中同样呈现为竖直。在这种情况下，即使进行摇拍-俯仰-缩放操作，竖直线也仍然呈现为竖直。另一方面，在所述专利技术中，在执行了软件摇拍-俯仰-缩放操作后，竖直线通常不呈现为竖直。为了补正这种不自然的结果，需要额外进行旋转操作，这在机械的摇拍-俯仰-缩放照相机中是找不到的。此外，所述专利技术不提供转动角的精确数量，而这是将竖直线显示为竖直线所需的。因此，为了将竖直线显示为竖直线，必须在试错法中得到转动角。此外，所述专利技术假定鱼眼透镜的投影方案为理想的等距投影方案。但是，鱼眼透镜的真实投影方案通常示出与理想的等距投影方案的巨大偏差。因为该专利技术未考虑实际透镜的失真性质，因而图像处理后获得的图像仍然显示出失真。参考文献4中描述的专利技术纠正了参考文献3中描述的专利技术的缺点，即，未考虑图像处理中使用的鱼眼透镜的真实投影方案。然而，在监视屏中未将竖直线显示为竖直线的缺点并没有解决。从另一方面说，由于万有引力，包括人类在内的所有动物和植物都限制在地球表面上，并且在需要注意或需采取预防措施的事件的多数都发生在地平线附近。因此，即使必须监视地平线上的全部360°方向，也没有必要沿着竖直方向监视例如高至天顶或低至天底。如果我们想要在二维平面上描述全部360°方向的景物，那么失真是不可避免的。类似的困难出现在地图学中，其中作为球表面上的结构的地球上的地理需要映射到平面的二维地图上。在所有失真当中，对人类来说呈现得最为不自然的失真是竖直线呈现为曲线的失真。因此，即使存在其他种类的失真，确保不存在这种失真也是重要的。参考文献5中描述了多种地图投影方案中的公知的地图投影方案，诸如等矩形投影、墨卡脱（Mercator）投影以及圆柱投影方案，而参考文献6提供了多种地图投影方案的简史。在这些当中，当我们描述地球上的地理时，或者当我们绘制天球以便制作星座图时，等矩形投影方案是我们最为熟悉的。参见图1，如果我们假设地球或天球表面为半径为S的球面，那么地球表面上的任意点Q具有经度ψ和纬度δ。另一方面，图2为根据等矩形投影方案绘本文档来自技高网...
【技术保护点】
一种成像系统，包括：图像采集装置，用于采用绕光轴旋转对称的广角透镜获得未修正的像平面；图像处理装置，用于从所述未修正的像平面提取直线性像平面；图像选择装置，用于确定所述直线性像平面的参数；以及图像显示装置，用于在形状为矩形的屏幕上显示所述直线性像平面，其中，如果在所述矩形屏幕上与世界坐标系中的坐标为（X,Y,Z）的物点相对应的像点的坐标给定为（x",y"），所述世界坐标系将广角透镜的节点作为原点且将经过所述原点的垂直线作为Y轴，则世界坐标系中的任意直线都呈现为屏幕上的直线。
【技术特征摘要】
2007.07.29 KR 10-2007-0076113;2007.09.10 KR 10-201.一种成像系统，包括：图像采集装置，用于采用鱼眼透镜获得未修正的像平面；图像处理装置，用于从所述未修正的像平面提取直线性像平面；图像选择装置，用于确定所述直线性像平面的参数；以及图像显示装置，用于在形状为矩形的屏幕上显示所述直线性像平面，其中，如果在所述矩形屏幕上与世界坐标系中的坐标为(X,Y,Z)的物点相对应的像点的坐标给定为(x",y")，所述世界坐标系将鱼眼透镜的节点作为原点且将经过所述原点的垂直线作为Y轴，则世界坐标系中的任意直线都呈现为屏幕上的直线，其中，所述直线性像平面的参数包括经处理的像平面的尺寸(Imax,Jmax)、在滑动、摇摆和俯仰操作中的任一个之前的水平视场Δψ、横向滑动操作量ΔJ、纵向滑动操作量ΔI、摇摆角度和俯仰角度。2.一种成像系统，包括：图像采集装置，用于采用鱼眼透镜获得未修正的像平面，其中，所述鱼眼透镜的光轴与地平面既不平行也不垂直；图像处理装置，用于从所述未修正的像平面通过全景投影方案提取经处理的像平面，其中，经处理的像平面的水平视场Δψ处于180°到190°之间；以及图像显示装置，用于在形状为矩形的屏幕上显示所述经处理的像平面，其中，如果在所述矩形屏幕上与世界坐标系中的坐标为(X,Y,Z)的物点相对应的像点的坐标给定为(x",y")，所述世界坐标系将鱼眼透镜的节点作为原点且将经过所述原点的垂直线作为Y轴，则世界坐标系中的与Y轴平行的直线都呈现为屏幕上与y"轴平行的直线，并且在所述世界坐标系的X-Z平面上具有相同角度尺寸的两个物体在所述屏幕上沿着x"轴具有相同线性尺寸。3.一种全景成像系统，包括：图像采集装置，用于采用鱼眼透镜获得广角图像；图像处理装置，用于基于所述广角图像生成全景图像；以及图像显示装置，用于在矩形屏幕上显示所述全景图像，其中，世界坐标系将鱼眼透镜的节点作为原点，所述世界坐标系的Y轴与经过所述原点的垂直线相重合，包含所述Y轴和所述鱼眼透镜的光轴的平面是参考面，包含所述原点并且垂直于所述Y轴的平面是水平面，所述参考面和所述水平面之间的交线与所述世界坐标系的Z轴相重合，在矩形屏幕上与世界坐标系中的坐标为(X,Y,Z)的物点相对应的像点的坐标给定为(x",y")，所述像点的横坐标x"由x"＝cψ给出，并且所述像点的纵坐标y”由y″＝cF(δ)给出，其中，c是比例常数，水平入射角ψ由来自所述物点的入射光线和所述参考面界定，并由给出，由所述入射光线和X-Z平面界定的垂直入射角δ由下式给出：并且函数F(δ)是单调递增函数。4.如权利要求3所述的全景成像系统，其中，所述入射光线的垂直入射角δ的函数F(δ)由以下各式中的任一个给出：F(δ)＝tanδ，F(δ)＝δ和5.一种全景成像系统，包括：图像采集装置，用于采用鱼眼透镜获得广角图像；图像处理装置，用于基于所述广角图像生成全景图像；以及图像显示装置，用于在矩形屏幕上显示所述全景图像，其中，如果...
【专利技术属性】
技术研发人员：权琼一，
申请(专利权)人：奈米光子有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。