一种基于多尺度相机阵列的视频成像系统及视频处理方法技术方案

基于多尺度相机阵列的视频成像系统及视频处理方法，系统包括控制云台、视频处理单元和相机阵列；相机阵列包括多个局部相机和至少一个全局参考相机；全局参考相机利用较短焦距镜头采集一预定场景的低分辨率全局参考视频，多个局部相机分别采用较长焦距镜头采集预定场景内的不同局部高分辨率视频；视频处理单元：为每一个局部相机找到其在全局参考相机中的对应区域；通过非均匀图像扭转算法将各局部视频与全局参考视频中的对应区域对齐；将扭曲后的所述较高分辨率的局部视频嵌入到所述较低分辨率的全局参考视频中，形成较高分辨率的全局视频。

【技术实现步骤摘要】
一种基于多尺度相机阵列的视频成像系统及视频处理方法
本专利技术涉及图像视频采集和处理领域，尤其涉及一种基于多尺度相机阵列的视频成像系统及视频处理方法。
技术介绍
近年来，计算机视觉方面的检测和识别算法在性能上取得了巨大的突破。然而，视觉算法的性能本质上仍取决于输入的图像视频数据的质量，而图像视频的捕获则受光学成像系统中镜头和传感器的时空带宽积限制。在实时帧率采集下，空间分辨率难以突破亿级像素，宽视场范围和高细节分辨率之间存在难以调和的矛盾，视觉计算因此难以兼顾检测识别的范围与检测识别的准确度。最近出现的“十亿像素级视频”采集，突破了人眼视觉信息捕获的极限，可实现多尺度超高分辨率视频捕获，宽空间捕获范围和高空间分辨率都将得到满足，能极大提高视觉计算的性能，推动计算机视觉及人工智能各领域如安防监控、无人机、无人车等的技术发展。然而，受限于大规模相机阵列所涉及的海量数据对搭建、标定、拼接、处理及硬件成本所带来的挑战，十亿像素级视频的采集硬件的搭建和视频采集存在巨大的技术和资金门槛，围绕十亿像素视频的相关研究让众多科研学者望而却步。十亿像素的成像通常利用可精确控制相机方向的云台，或是相机阵列来实现。Kopf首先提出用一个电机控制的云台和配备长焦镜头的单反相机来采集静态十亿像素图像。随后，Pirk在此基础上增加了一个相机来采集视频片段，并将这些视频片段嵌入到十亿像素图像中。目前，这种利用云台来拍摄静态十亿像素图像的方案已经比较成熟，已经有商业产品如gigapa出现。这种方案成本低，算法成熟，但是只能采集静态的图像。D.Brady提出了包含98个相机的AWARE-2相机阵列。相比于之前的相机阵列相机，AWARE-2相机阵列采用了多重光学镜头的设计，大大地减小了相机阵列的体积和重量，并且可以达到每秒几帧的采集速度。但是AWARE-2相机阵列需要事先标定和特制的物镜，搭建成本高，难度大，灵活性低。F.Perazzi提出了未标定相机阵列的视频拼接算法，但是这个相机阵列采用了小焦距相机，主要是增加了采集到的视频的FOV，在空间分辨率上并没有提升。此外，这种方式设计的相机阵列需要保证相邻的相机之间有足够大的重叠区，整个算法的复杂度高，可并行度低，无法实现实时的拼接。而在商业领域，只有一些用来拍摄360度全景视频的产品，作为VR视频的采集设备，如SamsungGear360，facebooksurround360等。但是VR设备想要达到好的效果需要非常高视频分辨率，否则会出现非常明显的像素点。然而，目前已有的360度全景视频采集设备分辨率都不高。
技术实现思路
由于相机光学系统的限制，单个镜头的相机设计已经遇到了瓶颈。因此，工业界和学术界都提出使用相机阵列来代替单个镜头的相机以达到更好的拍摄效果。但是由于相机阵列的不同相机之间存在视差，各自采集的视频的拼接是一个难题。传统的图像视频拼接算法需要同时对所有相机进行处理，效率低、复杂度高并且鲁棒性差。除此之外，传统的阵列相机要求相邻相机之间有足够大的重叠区域，灵活性差。为此，本专利技术提出一种基于多尺度相机阵列的视频成像系统及视频处理方法，通过加入全局参考相机，使得每个局部相机可以单独进行处理，降低了算法的复杂度，提升了效率和鲁棒性，同时增加了相机阵列的灵活性，实现简易便捷、高性价比、低码率需求的十亿像素视频生成。为达上述目的，本专利技术其中一实施例提供了一种基于多尺度相机阵列的视频成像系统，包括控制云台、视频处理单元以及安装于所述控制云台的相机阵列；所述相机阵列包括多个局部相机以及至少一个全局参考相机，所述多个局部相机的视场角均位于所述全局参考相机的视场角内；所述全局参考相机用于采集一预定场景的全局参考视频，多个所述局部相机分别用于采集所述预定场景内的不同局部视频；其中，所述局部相机的焦距大于所述全局参考相机的焦距，以使得所述局部相机获取较高分辨率的局部视频，同时所述全局参考相机获取较低分辨率的全局参考视频；所述视频处理单元接收所述相机阵列采集的全局参考视频和多个局部视频并执行以下步骤S1～S3：S1、为每一个局部相机找到其在全局参考相机中的对应区域；S2、通过非均匀图像扭转算法将各局部视频与全局参考视频中的对应区域对齐；S3、将扭曲后的所述较高分辨率的局部视频嵌入到所述较低分辨率的全局参考视频中，形成较高分辨率的全局视频。本专利技术上述实施例提供的视频成像系统，硬件结构简便、搭建成本低，通过多个局部较高分辨率相机采集多个不同局部视频，再根据较低分辨率的全局参考视频来将多个高清局部视频拼接形成全局高清视频。本专利技术另一实施例提供了一种视频处理方法，用于对一相机阵列采集的视频进行处理，所述相机阵列包括多个局部相机以及至少一个全局参考相机，所述多个局部相机的视场角均位于所述全局参考相机的视场角内；所述全局参考相机用于采集一预定场景的全局参考视频，多个所述局部相机分别用于采集所述预定场景内的不同局部视频；其中，所述局部相机的焦距大于所述全局参考相机的焦距，以使得所述局部相机获取较高分辨率的局部视频，同时所述全局参考相机获取较低分辨率的全局参考视频；所述视频处理方法包括以下步骤S1～S3：S1、为每一个局部相机找到其在全局参考相机中的对应区域；S2、通过非均匀图像扭转算法将各局部视频与全局参考视频中的对应区域对齐；S3、将扭曲后的所述较高分辨率的局部视频嵌入到所述较低分辨率的全局参考视频中，形成较高分辨率的全局视频。传统的图像视频拼接算法需要同时对所有相机进行处理，效率低、复杂度高、鲁棒性差。除此之外，传统的阵列相机要求相邻相机之间有比较大的重叠区域，灵活性差。而本专利技术通过加入全局参考相机，使得每个局部相机可以单独进行处理，降低了算法的复杂度，提升了效率和鲁棒性，同时增加了相机阵列的灵活性。另一方面，由于要处理的是由不同相机拍摄的不同步视频，要考虑到具有视差的低分辨率，以及不同的颜色设置。在系统中，要根据4k全局参考视频形成一个十亿像素级的高清全局视频，参考视频和待拼接处理的全局视频之间的分辨率差距应该大于8倍。在如此大的分辨率差距下，高分辨率图像的大部分特征将在低分辨率图像中消失，而本专利技术采用步骤S1至S3的视频处理方法，实现跨分辨率(跨尺度)图像的匹配和扭转对齐，并达到以下效果：能达到局部相机与全局参考相机的精确对准、繁琐的几何模型和颜色校准等需求，同时也能满足局部相机中对图像重叠覆盖的要求；局部相机之间不需要有重叠区域，并且允许局部相机在拍摄时进行移动，使得系统通过控制云台向感兴趣的场景区域分配更多的传感器资源，以自适应方式有效的捕获十亿像素视频；能够并行拼接形成高分辨率全局视频，每个局部相机可以单独进行处理，并且可以针对合成的十亿像素级视频进行实时的合成和优化。附图说明图1是本专利技术一实施例提供的基于多尺度相机阵列的视频成像系统的示意图；图2是采用图1所示例的系统采集到的全局参考视频和局部高清视频的截图；图3是将一局部高清视频嵌入到全局参考视频中的效果示意图。具体实施方式下面结合附图和具体的实施方式对本专利技术作进一步说明。高分辨率摄影或360度全景视频已经通过缝合大量规则间隔的相机来实现，其主要挑战是需要手动实现，需要有精确的结构，并且在相邻视图中具有足够的重叠区域。相机之间的视差可能会导本文档来自技高网...

【技术保护点】
一种基于多尺度相机阵列的视频成像系统，其特征在于：包括控制云台、视频处理单元以及安装于所述控制云台的相机阵列；所述相机阵列包括多个局部相机以及至少一个全局参考相机，所述多个局部相机的视场角均位于所述全局参考相机的视场角内；所述全局参考相机用于采集一预定场景的全局参考视频，多个所述局部相机分别用于采集所述预定场景内的不同局部视频；其中，所述局部相机的焦距大于所述全局参考相机的焦距，以使得所述局部相机获取较高分辨率的局部视频，同时所述全局参考相机获取较低分辨率的全局参考视频；所述视频处理单元接收所述相机阵列采集的全局参考视频和多个局部视频并执行以下步骤S1～S3：S1、为每一个局部相机找到其在全局参考相机中的对应区域；S2、通过非均匀图像扭转算法将各局部视频与全局参考视频中的对应区域对齐；S3、将扭曲后的所述较高分辨率的局部视频嵌入到所述较低分辨率的全局参考视频中，形成较高分辨率的全局视频。

【技术特征摘要】
1.一种基于多尺度相机阵列的视频成像系统，其特征在于：包括控制云台、视频处理单元以及安装于所述控制云台的相机阵列；所述相机阵列包括多个局部相机以及至少一个全局参考相机，所述多个局部相机的视场角均位于所述全局参考相机的视场角内；所述全局参考相机用于采集一预定场景的全局参考视频，多个所述局部相机分别用于采集所述预定场景内的不同局部视频；其中，所述局部相机的焦距大于所述全局参考相机的焦距，以使得所述局部相机获取较高分辨率的局部视频，同时所述全局参考相机获取较低分辨率的全局参考视频；所述视频处理单元接收所述相机阵列采集的全局参考视频和多个局部视频并执行以下步骤S1～S3：S1、为每一个局部相机找到其在全局参考相机中的对应区域；S2、通过非均匀图像扭转算法将各局部视频与全局参考视频中的对应区域对齐；S3、将扭曲后的所述较高分辨率的局部视频嵌入到所述较低分辨率的全局参考视频中，形成较高分辨率的全局视频。2.如权利要求1所述的视频成像系统，其特征在于：步骤S3还包括对嵌入的各局部视频进行颜色校正，以校正到与所述全局参考视频颜色一致。3.如权利要求1所述的视频成像系统，其特征在于：所述全局参考相机固定安装于所述控制云台上，所述局部相机可转动地安装于所述控制云台上。4.如权利要求1所述的视频成像系统，其特征在于：所述全局参考相机的焦距为4～25mm，所述局部相机的焦距为32～200mm。5.如权利要求1所述的视频成像系统，其特征在于：所述相机阵列包括一个或两个所述全局参考相机，以及4至128个局部相机。6.一种视频处理方法，用于对一相机阵列采集的视频进行处理，其特征在于：所述相机阵列包括多个局部相机以...

【专利技术属性】
技术研发人员：方璐，刘烨斌，王好谦，袁肖赟，崔宇浩，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东,44