一种基于混合相机阵列的十亿像素视频的生成方法技术

本发明专利技术公开了一种基于混合相机阵列的十亿像素视频的生成方法，包括以下步骤：S1：采用混合相机阵列进行图像采集，其中所述混合相机阵列包括至少一个全局相机和多个局部相机，通过至少一个所述全局相机采集得到至少一个全局图像，通过多个所述局部相机分别采集得到多个局部图像；S2：采用网络分类方法查找各个所述局部图像在所述全局图像中的对应图像块；S3：根据步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，将各个所述局部图像与所述全局图像进行多尺度融合，生成融合图像，得到十亿像素视频。本发明专利技术可以快速高质量地生成十亿像素视频。

【技术实现步骤摘要】
一种基于混合相机阵列的十亿像素视频的生成方法
本专利技术涉及数字图像处理领域，尤其涉及一种基于混合相机阵列的十亿像素视频的生成方法。
技术介绍
在图像视频技术高度发展的今天，随着人们对于视频质量要求的日益提高，十亿像素视频逐渐进入大众的视野，其超高像素，使得人们可以通过多尺度图像结构，观察到更局部更具体的信息，在大场景赛事直播、大场景安控等领域有着相当重要的作用。十亿像素视频技术，作为一种高新的视频生成系统，其生成方法一般如下：以大量的微型相机阵列形成大规模的相机阵列，相机所摄区域之间设置一定程度的重合，或是直接在局部相机之间进行物理上的位置关系设定，从而将局部相机所摄图像进行变换、融合，形成最后的十亿像素视频。这种方法，对于硬件设备的要求相当之高，导致价格昂贵，相机体积巨大等问题，加之算法复杂，实现实时生成有相当难度；因此需要寻找一种更轻便的方法生成十亿像素视频。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
为解决上述技术问题，本专利技术提出一种基于混合相机阵列的十亿像素视频的生成方法，可以快速高质量地生成十亿像素视频。为了达到上述目的，本专利技术采用以下技术方案：本专利技术公开了一种基于混合相机阵列的十亿像素视频的生成方法，包括以下步骤：S1：采用混合相机阵列进行图像采集，其中所述混合相机阵列包括至少一个全局相机和多个局部相机，通过至少一个所述全局相机采集得到至少一个全局图像，通过多个所述局部相机分别采集得到多个局部图像；S2：采用网络分类方法查找各个所述局部图像在所述全局图像中的对应图像块；S3：根据步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，将各个所述局部图像与所述全局图像进行多尺度融合，生成融合图像，得到十亿像素视频。优选地，所述混合相机阵列包括一个全局相机和多个局部相机，其中所述全局相机设置在多个所述局部相机的中间。优选地，步骤S2具体为：采用跨像素一致性网络来查找各个所述局部图像在所述全局图像中的对应图像块，其中所述跨像素一致性网络包括两个膨胀卷积网络，每个所述膨胀卷积网络包括6个膨胀卷积层和1个1*1的总卷积层。优选地，步骤S2中具体包括：采用双线性差值方法对多个所述局部图像和所述全局图像进行上采样后，将所述局部图像中的任意一个局部图像块选作标定过的真实数据，然后计算所述全局图像中的各个全局图像块的特征f以及特征映射gi,j，再采用特征内积计算所述局部图像块和所述全局图像块的匹配程度si,j＝＜f,gi,j＞，将定义为匹配概率，计算最终的损失函数为：其中，qi,j是真实数据的单热矩阵；根据所述损失函数找到与所述局部图像块相对应的匹配程度最高的所述全局图像块，即为所述局部图像块在所述全局图像中的对应图像块。优选地，步骤S3具体为：将步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，放入到超分辨图像生成网络中，进行多尺度融合，生成融合图像，得到十亿像素视频；其中所述超分辨图像生成网络包括全局图像特征提取模块、局部图像特征提取模块和将全局图像特征和局部图像特征融合进行超分辨的预测模块。优选地，其中全局图像特征提取模块包括16个卷积残差层和1个上采样层。优选地，其中局部图像特征提取模块包括一个卷积层和三个特征提取块，每个所述特征提取块由一个卷积层和一个2步长的池化层组成，依次输出{1，1/2，1/4，1/8}像素比的图像特征，各自又输入到预测模块中。优选地，其中预测模块将不同像素比的全局图像特征与局部图像特征进行融合，其中对不同图片尺度i＝{0,1,2,3}图像的融合特征图像以下式进行定义：其中，表示对局部图像特征图进行处理的卷积核，表示通过卷积核生成局部图像特征图的二维置信度，M(i)表示归一化的二维置信度，表示融合特征图像，表示生成融合特征图像时的卷积核，FLR表示全局图像特征图，F(i+1)表示从上一层网络输出的特征图，*表示卷积算法，⊙表示矩阵点乘，δ()表示sigmod函数，relu()表示修正线性函数，SP()表示一种2倍子像素上采样方法，表示最近邻2倍上采样方法。优选地，所述的十亿像素视频的生成方法还包括步骤S4：对步骤S3中得到的图像进行校正处理，得到校正处理后的十亿像素视频。优选地，其中校正处理包括颜色校正、暗角校正和重合部分的融合处理。与现有技术相比，本专利技术的有益效果在于：本专利技术提出的基于混合相机阵列的十亿像素视频的生成方法，一方面以局部相机阵列搭配全局相机的方式组合混合相机阵列，以高像素局部图像超分辨全局图的方法形成高分辨视频，另一方面省去了一般全景视频生成中繁琐的标定和计算内外参过程；该十亿像素视频的生成方法，利用深度学习，利用局部相机的高分辨率，将全局图像的分辨率提高多倍，可以快速高质量地生成十亿像素视频。在进一步的方案中，本专利技术采用跨像素一致性网络来查找各个局部图像在所述全局图像中的对应图像块，通过跨像素一致性网络进行网络的训练可以获取图像中的稠密的特征点，其精度为像素级，从而可以精准地查找到各个局部相机采集的局部图像在所述全局相机采集的全局图像中的对应图像块。附图说明图1是本专利技术优选实施例的基于混合相机阵列的十亿像素视频的生成方法的流程示意图；图2a是采用本专利技术优选实施例的混合相机阵列拍摄的全局低分辨率的视频截图；图2b是图2a中的A处的局部高分辨率的视频截图；图2c是图2b中的B处的放大的局部高分辨率的视频截图；图3是本专利技术优选实施例的超分辨图像生成网络的全局图像特征提取模块的示意图；图4是本专利技术优选实施例的超分辨图像生成网络的局部图像特征提取模块和预测模块的示意图。具体实施方式下面对照附图并结合优选的实施方式对本专利技术作进一步说明。如图1所示，本专利技术优选实施例的基于混合相机阵列的十亿像素视频的生成方法，包括以下步骤：S1：采用混合相机阵列进行图像采集；在具体实施例中，混合相机阵列是由一个低像素广角全局相机和多个高像素局部相机组成的相机阵列，通过该混合相机阵列进行同步采集，使得所有相机采集、存储同一时刻下大场景的图像，其中由于所采集的内容是大视角、远距离的事物，各个相机之间可看作是同一视角，因此可以进行有依赖图像的图像超分辨过程。其中，在本实施例中，混合相机阵列包括一个焦距为16mm的全局摄像头和14个焦距为135mm、分辨率为4000万像素的高清局部摄像头，帧率均未15fps，其中全局摄像头设置在14个局部摄像头的中间。如图2a是采用该混合相机阵列采集到的视频截图实例，图2b是图2a中的A处的放大示意图；图2c是图2b中的B处的放大示意图。S2：查找各个局部相机采集的局部图像在所述全局相机采集的全局图像中的对应图像块；在具体实施例中，将多个局部图像和全局图像的特征学习过程视为一个分类问题，因此设计了一个跨像素一致性网络(Cross-scaleCorrespondenceNet，以下简称为CC-NET)来查找每个局部图像在全部图像中的对应图像块；通过CC-NET能给出多个局部图像和全局图像的特征匹配概率图，从而可以指导在全局图像中找到局部图像所对应的图像块。具体本文档来自技高网...

【技术保护点】
一种基于混合相机阵列的十亿像素视频的生成方法，其特征在于，包括以下步骤：S1：采用混合相机阵列进行图像采集，其中所述混合相机阵列包括至少一个全局相机和多个局部相机，通过至少一个所述全局相机采集得到至少一个全局图像，通过多个所述局部相机分别采集得到多个局部图像；S2：采用网络分类方法查找各个所述局部图像在所述全局图像中的对应图像块；S3：根据步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，将各个所述局部图像与所述全局图像进行多尺度融合，生成融合图像，得到十亿像素视频。

【技术特征摘要】
1.一种基于混合相机阵列的十亿像素视频的生成方法，其特征在于，包括以下步骤：S1：采用混合相机阵列进行图像采集，其中所述混合相机阵列包括至少一个全局相机和多个局部相机，通过至少一个所述全局相机采集得到至少一个全局图像，通过多个所述局部相机分别采集得到多个局部图像；S2：采用网络分类方法查找各个所述局部图像在所述全局图像中的对应图像块；S3：根据步骤S2查找到的各个所述局部图像在所述全局图像中的对应图像块，将各个所述局部图像与所述全局图像进行多尺度融合，生成融合图像，得到十亿像素视频。2.根据权利要求1所述的十亿像素视频的生成方法，其特征在于，所述混合相机阵列包括一个全局相机和多个局部相机，其中所述全局相机设置在多个所述局部相机的中间。3.根据权利要求1所述的十亿像素视频的生成方法，其特征在于，步骤S2具体为：采用跨像素一致性网络来查找各个所述局部图像在所述全局图像中的对应图像块，其中所述跨像素一致性网络包括两个膨胀卷积网络，每个所述膨胀卷积网络包括6个膨胀卷积层和1个1*1的总卷积层。4.根据权利要求3所述的十亿像素视频的生成方法，其特征在于，步骤S2中具体包括：采用双线性差值方法对多个所述局部图像和所述全局图像进行上采样后，将所述局部图像中的任意一个局部图像块选作标定过的真实数据，然后计算所述全局图像中的各个全局图像块的特征f以及特征映射gi,j，再采用特征内积计算所述局部图像块和所述全局图像块的匹配程度si,j＝＜f,gi,j＞，将定义为匹配概率，计算最终的损失函数为：其中，qi,j是真实数据的单热矩阵；根据所述损失函数找到与所述局部图像块相对应的匹配程度最高的所述全局图像块，即为所述局部图像块在所述全局图像中的对应图像块。5.根据权利要求1所述...

【专利技术属性】
技术研发人员：方璐，刘烨斌，王好谦，袁肖赟，徐志伟，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东,44