利用相机瓷砖化实现实时多尺度成像系统及方法技术方案

本发明专利技术所涉及的利用相机“瓷砖化”实现实时多尺度成像系统，包括相机阵列，图像处理及存储系统，显示器，所述图像处理及存储系统将相机阵列获取的图像处理后发送至显示器；其特征在于：所述相机阵列由若干相互交错设置的微相机组成，所述微相机拍摄所得的微视场的分辨率高于显示器的显示视场的分辨率。

【技术实现步骤摘要】

本专利技术涉及利用相机“瓷砖化”实现实时多尺度成像系统及方法，属于图像处理

技术介绍
数字图像分辨率取决于像素数。固态成像技术的分辨率从开始的一兆到现在的10到100兆。当前的传感器像素尺寸已经小到几个光波长的级别。在这个尺度下，进一步降低像素尺寸变得很困难。所以为了增加图像大小，开始增加传感器面积。但是目前大于1平方厘米的传感器价格昂贵，产出率不高。另外，镜头的可分辨点尺寸和空间频响能力随着传感器尺寸的增加而降低。这也是应通过利用相机阵列，而不是提升单相机传感器分辨率，来提升图像大小的原因。近百年来，全景高清图像都是通过在三脚架上旋转单相机，连续拍摄多张图片，拼接成一张大图像。在数字时代之前，全景图像是通过剪切拼接而成。最近出现的拼接技术通过在关联重叠区域共同点实现拼接。但是在此过程中经常会发生错误，造成可察觉的误差。主要原因是不同的图片是在不同时间拍摄的，共同点可能在两次曝光之间发生了移动。如图1所示，全景图像也可以通过相机阵列去采集。相机阵列可以同步采集数据，消除了图像之间的时间差。在美国专利8,259,212(多尺度光学系统)中已经描述了这种超高分辨率图像采集系统。在这种架构中，保证多有相机的光轴尽量通过同一点是比较困难的。如图2所示，相机观察场景的角范围叫做视场角。每个相机像素从场景中采集数据，一个像素对应的角范围叫做瞬态视场角ifov。一个相机有N个水平像素，M个垂直像素，水平视场角是N*ifov，垂直视场角是M*ifov。总像素数是N*M。可以通过像附图中描述的那样利用多个相机或者传感器来增加视场角。每个相机观察一部分场景且图像间有部分重叠，场景中不能有不被相机覆盖的地方。正如图2中描述的，相机从不同的视角观察场景中的不同部分。相机的不同姿态使得形成一个单一视角总图较为困难。理想情况下，我们希望将相机前透光孔围绕一个中心点布置，以便所有相机共用一个视角中心点。实践中，这种布置很难，甚至不可能实现。作为替代方法，我们可以简单地确保相机光轴通过同一点，如图3所示。在这种情况下，我们可以通过缩放图像把有效视角从光圈入口平移到所有相机共同相交的视角点。但是，每个物体为了平移有效视角点而进行的缩放量是和物体的距离相关的。在一个具有多个不同地点的物体的场景，通过准确的缩放来实现平移是不可能的。在之前的实践中，多个相机的图像通过拼接形成一幅全景合成图。由于相机间有重叠区域，一些像素被一个以上的相机采集，所以合成图的总像素数少于相机矩阵的像素数。但是合成图的像素数仍然远超每个相机的像素数，也远超在可以在显示器上有效显示的像素数。这些大图通常用“瓷砖(tile)”格式存储在内存中，如图4所示。分辨率最低的图像在瓷砖金字塔的最上层，显示场景全貌。在此图中，低分辨率图像是128*128像素。金字塔的第二层有4幅图像，每幅图是128*128像素，场景被分为四个象限，分辨率提升两倍。下一层由16个瓷砖片组成，也是128*128 像素，比第二层的瓷砖片分辨率提升两倍。在图像显示系统中，只有需要显示的瓷砖片被使用。例如，一个128*128的显示器只使用最上层的瓷瓦片来显示全景图。当用户缩放进场景的一个细节，只有和这个细节相关的瓦片被送进显示器。在之前的实践中，这个瓦片金字塔结构是从合成场景的全分辨率图开始创建的。这个结构使用户可以不需要在网络上传输全分辨率图像而看到全分辨率图像。此方法被百度，谷歌地图采用，在不经过传送全部数据的情况下让用户浏览大量图像数据集。作为此专利技术的关键组成部分，我们注意到为了使用相机矩阵中的高清图像而创建全局图像其实没有必要，甚至不是好事。用户只是想把从多个相机的图像以视觉感官令人震撼的效果集成到显示器上来。相机相邻区域的拼接错误会引起用户的反感，从一个相机视角平移到下一个相机视角却不一定引起用户反感。从这个观点出发，我们寻求一种不产生拼接误差、在相邻相机间平移相机视角的方法。在特定情况下，由于不同相机可以看到其它被遮挡的相机看不到的场景，所以从计算角度消除拼接误差是不可能的。在其它情况下，通过匹配相邻相机图像来消除或者减少拼接误差是可能的，但是所需的计算量也是很大的。在此专利技术中，我们寻求一种方法，不仅避免拼接误差，还能通过消除拼接图像这个步骤而保证在场景中的实时浏览。意识到单传感器相机或者相机阵列的分辨率远超于显示分辨率是理解此专利技术的关键。现有高清电视图像的分辨率是1920*1080像素，或者4k(3840*2160像素)。8k分辨率(两倍于现有4k分辨率相机)的相机在开发当中。意识到高清分辨率对于大多数人的显示应用已经足够了，多出来的相机分辨率可以用来实现数字PTZ效果。正如下文描述的，以这种 方式来使用相机可以实现无拼接误差的实时全景图像。
技术实现思路
本专利技术的目的：旨在提供一种能够减少或者避免使用图像拼接技术，避免拼接误差，提升全景图像显示效果，并通过消除拼接图像这个步骤保证全景图像中对场景的实时浏览。这种利用相机“瓷砖化”实现实时多尺度成像系统，包括相机阵列，图像处理及存储系统，显示器，所述图像处理及存储系统将相机阵列获取的图像处理后发送至显示器；其特征在于：所述相机阵列由若干相互交错设置的微相机组成，所述微相机拍摄所得的微视场的分辨率高于显示器的显示视场的分辨率。所述相机阵列还包括一个宽视场相机。所述微视场的四个象限分别与四个相邻微相机拍摄所得的微视场的一个象限重叠。进一步的，显示视场的尺寸须小于1/4的微视场尺寸。这种利用相机“瓷砖化”实现实时多尺度成像方法，其步骤如下：宽视场相机获取整个系统视场的粗视场图像；微相机获取系统视场局部的高精度的微视场图像，每个微视场的四个象限分别与四个相邻微相机拍摄所得的微视场的一个象限重叠。显示器的显示视场可以在微视场内上下左右任意移动，显示某一特定象限时，可以使用覆盖此象限的两个微相机中的任意一个来产生显示数据。当显示视场平移到当前微视场的下一个象限时，覆盖当前微视场的微 相机和覆盖当前新象限的微相机可以共同为显示视场提供显示数据。当用户放大显示视场，超过单个微相机的微视场时，采用宽视场相机提供显示数据。进一步的，可在系统视场中心地带使用密集的微相机阵列，实现微视场的象限重叠采集，在系统视场的边缘地带使用非重叠阵列，采用传统的图像拼接算法。通过利用微相机与显示器的分辨率差异，使得微相机的分辨率高于显示器的分辨率，并对相机阵列中微相机交错排列，使得微相机采集所得的微视场中每个象限均有两个微相机提供显示数据，可以使得显示视场在相邻设置的微相机所提供的微视场内移动时，获得实时的高分辨率全景图像。此外，由于消除了相邻相机图像的拼接计算这一流程，不仅避免了拼接计算的误差，提升了图像质量，还提升了显示速度，保证在系统视场内的实时浏览。对此行业熟悉的人会意识到此策略可以被应用到从粗到细多层级结构。也会意识到有必要匹配相机间的亮度，对比度，Gamma曲线及其它图像参数以便平滑地从一个相机平移到另一个相机。通过匹配相机间特征点来平滑视场点移动也是有好处的，当然这个要求比传统图像拼接中的相应要求要宽松的多。附图说明图1是单相机视场示意图；图2是多相机视场示意图；图3是视角中心点布置示意图；图4是瓷砖金字塔显示结构示意图；图5是本专利技术的多相机视本文档来自技高网...

【技术保护点】
利用相机“瓷砖化”实现实时多尺度成像系统，包括相机阵列，图像处理及存储系统，显示器，所述图像处理及存储系统将相机阵列获取的图像处理后发送至显示器；其特征在于：所述相机阵列由若干相互交错设置的微相机组成，所述微相机拍摄所得的微视场的分辨率高于显示器的显示视场的分辨率。

【技术特征摘要】
1.利用相机“瓷砖化”实现实时多尺度成像系统，包括相机阵列，图像处理及存储系统，显示器，所述图像处理及存储系统将相机阵列获取的图像处理后发送至显示器；其特征在于：所述相机阵列由若干相互交错设置的微相机组成，所述微相机拍摄所得的微视场的分辨率高于显示器的显示视场的分辨率。2.如权利要求1所述的利用相机“瓷砖化”实现实时多尺度成像系统，其特征在于：所述相机阵列还包括一个宽视场相机。3.如权利要求1所述的利用相机“瓷砖化”实现实时多尺度成像系统，其特征在于：所述微视场的四个象限分别与四个相邻微相机拍摄所得的微视场的一个象限重叠。4.如权利要求1所述的利用相机“瓷砖化”实现实时多尺度成像系统，其特征在于：进一步的，显示视场的尺寸须小于1/4的微视场尺寸。5.利用相机“瓷砖化”实现实时多尺度成像方法，其步骤如下：宽视场相...

【专利技术属性】
技术研发人员：戴维·白瑞迪，范柘，
申请(专利权)人：宿州安科迪智能技术有限公司，
类型：发明
国别省市：上海;31