多阵列相机成像系统及其方法技术方案

提出了一种使图像采集和渲染无现有技术的时延和带宽需求的成像系统和方法。本发明专利技术的实施例采用多个成像器向多个采集和宿主服务器提供图像数据，所述采集和宿主服务器通过第一通信总线连接。一个或多个渲染系统通过第二通信总线互连至所述多个服务器。所述服务器仅对满足渲染系统各渲染请求所需的原始图像数据执行并行处理。由于仅对用于渲染特定图像视图所需的图像数据进行图像处理，因此，不会形成完整的高分辨率图像以满足所述渲染请求，而所需图像的渲染时延可更短，且向渲染系统传输图像所需的带宽更少。

【技术实现步骤摘要】
【国外来华专利技术】多阵列相机成像系统及其方法相关申请的交叉引用本案要求、2015年3月13日提交的序列号为62/132,861美国临时专利申请(代理人案号：3034-003PR1)的优先权，该美国临时专利申请在此引入本文。如果本申请与一个或多个已引入且可能会影响本申请权利要求解释的内容作为本申请参考的专利权案件之间的语言存在任何矛盾或不一致，则本案权利要求的解释应与本案中的语言保持一致。
本专利技术涉及成像，尤其涉及用具有多个焦平面阵列的相机系统的成像。
技术介绍
在开发数字成像系统前，相机基于镜头以及位于镜头焦平面的胶片感光乳剂。场景光学图像投射到乳剂上，通过化学过程被永久记录。然而，数字成像的出现，在记录和查看场景图像方面实现了进步。尤其是现代相机，它可利用位于成像镜头焦平面的电子传感器阵列通过暂时数字记录场景的光学图像来形成场景图像。传感器阵列(又名焦平面阵列)通常包括光电探测器像素的大型二维阵列，如，电荷耦合元器件(CCD)和光电探测器等。该传感器阵列基于图像采集期间形成于其记录表面上的子图生成数字图像数据集。由于具有高像素数的成像系统在查看输出图像方面具有诸多优势，因此，随着数字成像技术的日趋成熟，开发出了含有更大像素数的传感器阵列。举例来说，提供的总场景图像的质量可得到提高，而分辨率得到提高还可使场景分区视图被放大，从而可进行更为详细的检查。像素数是衡量图像质量的基本单位，通常以图像中表示出包含百万像素数量。在大多数情况下，传感器元件包含于单阵列内。由于传感器元件在单阵列内的相对位置是先验已知的，且其余位置可在成像过程中得到确定，因此，使用单阵列有助于进行图像处理，其中的图像处理是指在合理时间量内将来自传感器阵列的原始像素数据转换成输出图像所需的处理。总像素数受每个传感器元件的大小以及可将触感器元件形成于其上的载板的实际尺寸的限制。智能手机或数字相机的像素数通常在8-40百万像素范围之间。在许多情况下，最好增大图像像素，使其超过可易于通过单个传感器阵列对场景成像所获得的图像像素。在现有技术中，通常通过以下方式实现：将多个数字子图(每个数字子图均由不同传感器阵列提供)聚合成具有大型像素数的合成图像，同时保持子图区的高像素密度。与具有一个连续焦平面阵列的系统相比，这可在高角分辨率与宽视域相结合、数据高速读出以及每个像素成本更低等方面为单传感器阵列相机提供性能优势。全景成像即为一个应用实例，其中，多个低像素数图像组合形成高像素数图像。在大多数情况下，全景图像由从单个相机中提取的一系列图像生成，而在采集系列图像期间相机需平移和倾斜。或者，有时也可采用具有多个传感器阵列的相机系统。在某些情况下，在全景和非全景成像应用中可使用具有多个单传感器阵列微型相机的阵列相机。在该系统中，每个微型相机基于场景的不同部分将输出数据提供给公共图像聚合处理器，其中，该公共图像聚合处理器将输出数据组合成整个场景的合成图像。遗憾的是，由于子图拼接需要进行几何和辐射处理，因此，将多个较小子图组合成合成大图所需的计算非常密集。此外，当子图拍摄于不同时间点时，场景照明将发生变化，或者存在与视域内移动的物体相关联的运动伪像。再者，不同传感器阵列的响应度不同，这将导致对比度和亮度等发生变化。因此，为了降低由这些变化所引起的子图间接缝，需对相邻图像进行比较计算。此外，还必须对子图实施失真校正、指向校正和非线性校正。一旦完成广泛性处理，就可获得具有非常高像素数(尺寸通常在数十百万像素到数十千兆像素之间)的单个图像文件。虽然此类广泛性处理有严格的时间限制，但是，在过去其避免了采用多个传感器阵列以视频速率来采集高分辨率、高像素数图像。因此，迄今为止，高清视频流一直主要受限于由单传感器阵列相机采集。因而，在视频速率应用中，通常用多个单独控制的相机来采集完整场景，其中，每个相机仅提供一部分场景的小面积视图。举例来说，体育消息广播通常依赖于多个在整个场馆内进行战略性定位或定向的不同摄像机。每个摄像机都有自己的摄影师，且选择播放哪个摄像机视图的总摄影师必须对多个摄像机视图进行持续实时分析。除了会导致资金和运营费用过高之外，这种方法还会限制观看体验的“丰富性”。迄今为止，对可同时提供高分辨率图像的成像系统的需求尚未得到满足。
技术实现思路
本专利技术利用具有多个传感器阵列的成像系统实现了对场景的大面积高像素数图像的高速采集与渲染。本专利技术的实施例特别适用于高清视频广播系统。在现有技术中，将多个子图拼接成单个合成图像的方法需要进行大量处理工作，这将导致出现与视频速率应用不相符的时延。换句话说，由于合并不同传感器阵列提供的子图所需的时间量，现有技术的多传感器阵列成像方法无法以视频速率将完全拼接的图像传送至显示器。此外，就其本身而言，成像器与显示设备之间传输大量原始像素数据所需的带宽要求过高。本专利技术通过仅处理渲染特定场景视图所需的像素数据，克服了现有技术中的高像素数成像系统的时延和带宽问题。由于查看设备的分辨率通常要比最终拼接而成的图像的分辨率低得多，因此，除非需要打印图像，否则不会形成高分辨率整图。这对视频速率采集和显示而言是至关重要的，因为以视频速率处理全分辨率图像非常复杂，且费用昂贵。因此，本专利技术的实施例实现了适用于视频速率应用的更快成像系统。此外，本专利技术的实施例用采集到的场景图像组来标定多成像器系统中的每个成像器。然后，利用标定推导得出的模型，在很少或无时延的情况下形成场景的后续合成图像。在一些实施例中，合成图像中的每个图像像素均取自系统中的特定测量像素。换句话说，与场景中每个物点相对应的图像数据点仅从一个成像器(如，覆盖该数据点的最佳可用成像器)中获取，从而避免了对由多个具有重叠视域的成像器提供的图像数据点的平均化。计算时间的缩减使成像系统的实时操作成为可能。本专利技术的一个实施例为一种成像方法，其中，成像系统具有树状层次结构，可为架构和图像处理提供可扩展性。在该方法中，仅对渲染场景视图所需的像素进行处理，时延较短，从而实现了大图数据集和视频速率采集的交互式查看，以及大像素数图像的渲染。此外，像素采集、处理及存储被分发，因此，可使用低成本组件来实现并行架构。在一些实施例中，实现了低时延交互显示多个传感器阵列的高像素数数据集。本专利技术的柔性处理架构使不同应用均可由相同的成像系统底层架构提供。在一些实施例中，高像素数拼接显示器通过设置单独的渲染处理器来进行渲染，每个渲染处理器馈送至单个显示器。在一些实施例中，平板电脑及手机上的交互式显示器通过在云服务器上预缓存数据集并分配特别适合(如，基本优化)显示器像素数的低带宽图像来进行优化。在一些实施例中，通过用高带宽链接至渲染系统阵列的方式，实现多个成像器阵列的高质量广播渲染，其中，渲染系统馈送至一个输出视频显示器。本专利技术的一个实施例是一种用于高速采集和渲染包含多个物点的场景的第一图像的方法，该方法包括：将第一原始图像数据点集存储于多个服务器中，该服务器与第一多个传感器阵列和第一渲染系统可操作地耦合，并且该第一原始图像数据点集包括来自第一多个传感器阵列中的每一个传感器阵列的原始图像数据点；确定第二原始图像数据点集，该第二原始图像数据点集基于接收自第一渲染系统的渲染请求；确定第二组传感器阵列，该第二组传感器阵列是提供第二原始图像数据点本文档来自技高网...

【技术保护点】
一种用于高速采集和渲染包含多个物点的场景的第一图像的方法，所述方法，包括：将第一原始图像数据点集(214)存储于多个服务器(204)中，所述服务器与第一多个传感器阵列(212)和第一渲染系统(206‑i)操作地耦合，并且所述第一原始图像数据点集包括来自所述第一多个传感器阵列中的每一个的原始图像数据点；确定第二原始图像数据点集(222‑i)，所述第二原始图像数据点集基于接收自第一渲染系统的渲染请求(218‑i)；确定第二组传感器阵列，所述第二组传感器阵列是提供所述第二原始图像数据点集的第一组传感器阵列中的传感器阵列；以及通过将第一组标定系数应用于所述第二原始图像数据点集，生成第一标定图像数据点集(224‑i)，所述第一组标定系数基于所述第二组传感器阵列，其中所述第一图像基于所述标定图像数据点集。

【技术特征摘要】
【国外来华专利技术】2015.03.13 US 62/132,8611.一种用于高速采集和渲染包含多个物点的场景的第一图像的方法，所述方法，包括：将第一原始图像数据点集(214)存储于多个服务器(204)中，所述服务器与第一多个传感器阵列(212)和第一渲染系统(206-i)操作地耦合，并且所述第一原始图像数据点集包括来自所述第一多个传感器阵列中的每一个的原始图像数据点；确定第二原始图像数据点集(222-i)，所述第二原始图像数据点集基于接收自第一渲染系统的渲染请求(218-i)；确定第二组传感器阵列，所述第二组传感器阵列是提供所述第二原始图像数据点集的第一组传感器阵列中的传感器阵列；以及通过将第一组标定系数应用于所述第二原始图像数据点集，生成第一标定图像数据点集(224-i)，所述第一组标定系数基于所述第二组传感器阵列，其中所述第一图像基于所述标定图像数据点集。2.根据权利要求1所述的方法，进一步包括：将所述第一组标定系数传送至所述第一渲染系统；以及将所述第二原始图像数据点集传送至所述第一渲染系统；其中，所述第一组标定系数在所述第一渲染系统中被应用于所述第二原始图像数据点集。3.根据权利要求1所述的方法，进一步包括：将比例系数应用于所述第二原始图像数据点集(222-i)，所述比例系数基于所述渲染请求。4.根据权利要求1所述的方法，进一步包括：确定第二组标定系数，该第二组标定系数包括所述第一组标定系数，所述第二组标定系数基于所述第一组传感器阵列。5.根据权利要求4所述的方法，其中，所述第二组标定系数至少包括辐射标定系数和几何标定系数中的一者。6.根据权利要求4所述的方法，其中，所述第二组标定系数都包括辐射标定系数和几何标定系数。7.根据权利要求1所述的方法，其中，所述第二组传感器阵列比所述第一组传感器阵列包含更少的元素。8.根据权利要求7所述的方法，其中，所述第一组标定系数仅基于所述第二组传感器阵列。9.根据权利要求1所述的方法，进一步包括：确定第二组...

【专利技术属性】
技术研发人员：S·T·麦凯恩，D·J·白瑞迪，
申请(专利权)人：安科迪有限公司，
类型：发明
国别省市：美国,US