一种高光谱十亿像素视频生成方法技术

一种高光谱十亿像素视频生成方法，包括：图像采集；图像数据预处理：将局部视角相机中的每幅图像的尺寸依据fr/fl降低，fr为局部视角相机的聚焦长度，fl为参考相机的聚焦长度；全局变换迭代：找到每一个局部视角图像和其在参照图像中对应的参照图像块之间具有鲁棒性的特征一致性；基于网孔的变换迭代：基于网孔变换的单应方法改善特征一致性；颜色校准及重叠处理：将任一参照块的颜色风格赋予对应的局部视角图像，将参考的颜色风格转移至局部视角图像中，转移方法依照仿射颜色映射模型；在参照块上应用Graphcut算法以替换参考块上重叠的局部视角图像。利用本发明专利技术的方法，可以高效准确地获取高品质十亿像素视频。

【技术实现步骤摘要】
一种高光谱十亿像素视频生成方法
本专利技术涉及计算机视觉与视频处理领域，特别是涉及一种高光谱十亿像素视频生成方法。
技术介绍
传统视频系统有限制性前提——相机分辨率需要匹配显示分辨率，如HD视频使用HD相机及显示屏，4K视频使用4K相机及显示屏。然而，随着十亿像素技术和虚拟现实技术的发展，相机摄取的信息量远高于显示屏可以展示的信息量。这些系统可以利用多尺度图像结构，从而加强视者交互探索拍摄到的图像流。
技术实现思路
本专利技术的主要目的在于针对现有技术的不足，提供一种高光谱十亿像素视频生成方法。为实现上述目的，本专利技术采用以下技术方案：一种高光谱十亿像素视频生成方法，所述方法包括以下步骤：A0：图像采集：用包括多个局部视角相机和一个全局视角的参考相机的多尺度混合相机阵列采集局部视角图像和参照图像；A1：图像数据预处理：将局部视角相机中的每幅图像的尺寸依据fr/fl降低，fr为局部视角相机的聚焦长度，fl为参考相机的聚焦长度；A2：全局变换迭代：找到每一个局部视角图像和其在参照图像中对应的参照图像块之间具有鲁棒性的特征一致性；A3：基于网孔的变换迭代：基于网孔变换的单应方法改善特征一致性；A4：颜色校准及重叠处理：将任一参照块的颜色风格赋予对应的局部视角图像，将参考的颜色风格转移至局部视角图像中，转移方法依照仿射颜色映射模型；在参照块上应用Graphcut算法以替换参考块上重叠的局部视角图像。进一步地：所述步骤A1中的图像数据预处理是将各局部视角视频根据fr/fl比值进行尺寸缩放。所述步骤A2中，通过以下步骤找出每个局部视角图像和对应的参照图像块之间鲁棒的特征一致性：A2.1、对局部视角图像中的图像块和对应的参照图像块之间使用零均值归一化相互关系数进行结构化相似度测量，得到最初的特征一致性；A2.2、基于匹配成功的特征，计算全局单应性矩阵，从而将局部视角图像变换到参照图像块上，其中基于下式进行两次全局变换迭代，表示如下：其中表示局部视角图像中的一个图像块，π表示远景投影，w为图像块的尺寸，∈为搜索宽度，Ir为参考图像，Il为局部图像，r是参考，l为局部视角，p为由三维齐次坐标映射到的二维坐标，pr为参考图像的由三维齐次坐标映射到的二维坐标，pl为局部图像的由三维齐次坐标映射到的二维坐标,pr*为使右侧表达式达到最大的pr的值，H为单应性矩阵。所述步骤A2.2中，在第一次迭代中，H初始化为单位矩阵，图像块的尺寸w和搜索宽度∈都设置为256，第二次迭代中，w和∈均设置为128。所述步骤A2.2中，通过FFT进行加速。所述步骤A3中，对大块的光滑纹理区域引入误匹配策略，包括：A3.1、补充光流匹配,其中应用了第二次迭代中包含的基于网孔变换的结果，该网孔变换的过程是一个特征一致性检测的过程；基于变换结果，使用变化的光流算法，改善局部视角图像和参照图像之间每个像素点的一致性；对于光滑纹理区域，使用改善后的单像素一致性作为互补的光流特征，这些特征包括局部视角图像的显著性特征，或者其位置位于网格顶点；A3.2、基于网格的变换使用ASAP变换框架，进行联合变换和稳定化。所述步骤A3.2中，使用如下的最小化能量函数进行稳定化：E(V)＝λrEr(V)+λtEt(V)+λsEs(V)V表示网格顶点的位置，Er表示强制当前的局部视角图像变换到近似参照块图像的状态，Et表示暂时的稳定状态，Es表示正则化相邻顶点的空间平滑性变形，λr、λt、λs为状态参数，用于修正三个状态对于最终能量函数的影响。Er计算所有特征一致性的距离和，αpl是pl的双线性插值权重；Et定义为：B表示指示函数，用于检验某个像素点是否在静态背景上；B(pl)＝0表示当pl位于移动物体上时，指上一帧匹配的localview的2维坐标，s为两帧之间的位移。所述步骤A4包括：A4.1、将任一参照块的颜色风格赋予对应的局部视角图像，转移方法依照仿射颜色映射模型；A4.2、针对局部视角图像之间存在的重叠区域，在参照块上应用Graphcut算法，以替换参考块上重叠的局部视角图像。利用本专利技术的方法，可以高效准确地获取到高品质十亿像素视频。本专利技术的优势主要体现在以下三个方面：1、该方法避免了精准相机调整、冗长几何学和颜色标定，以及现有方法中局部视角相机中图像重合的需要；2、该方法允许局部视角相机的运动，从而通过为兴趣区分配更多传感器资源来自适应、有效地生成十亿像素视频；3、该方法可以并行生成最终的高分辨率视频，为将来优化得到实时合成十亿像素视频提供了可能。利用本专利技术的方法，可通过利用局部图像至全局参考图像的空间映射关系，将全局的多光谱信息超分辨映射至局部，完成局部相机图像的高分辨率光谱图像生成。基于本专利技术的方法，可通过多尺度混合相机阵列进行横向分辨率图像匹配与变换，与中心多光谱信息映射到分视场视频。附图说明图1为本专利技术高光谱十亿像素视频生成方法一种实施例的流程图。具体实施方式以下对本专利技术的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。参见图1，在一种实施例中，一种高光谱十亿像素视频生成方法，包括以下步骤：A0：图像采集：用包括多个局部视角相机和一个全局视角的参考相机的多尺度混合相机阵列采集局部视角图像和参照图像；A1：图像数据预处理：首先将局部视角相机中的每幅图像的尺寸依据fr/fl降低，fr为局部视角相机的聚焦长度，fl为参考相机的聚焦长度；A2：全局变换迭代：找到每一个局部视角图像和其在参照图像中对应的参照图像块之间具有鲁棒性的特征一致性；A3：基于网孔的变换迭代：基于网孔变换的单应方法改善特征一致性；A4：颜色校准及重叠处理：将任一参照块的颜色风格赋予对应的局部视角图像，将参考的颜色风格转移至局部视角图像中，转移方法依照仿射颜色映射模型；在参照块上应用Graphcut算法以替换参考块上重叠的局部视角图像。这种处理方式也可解决由于局部视角相机可以移动，相机之间不可避免地存在重叠区域，变换过程中出现的校准错误问题。在优选实施例中，所述步骤A1中的图像数据预处理是将各局部视角视频根据fr/fl比值进行尺寸缩放。在优选实施例中，所述步骤A2中，通过以下步骤找出每个局部视角图像和对应的参照图像块之间鲁棒的特征一致性：A2.1、对局部视角图像中的图像块和对应的参照图像块之间使用零均值归一化相互关系数进行结构化相似度测量，得到最初的特征一致性；A2.2、基于匹配成功的特征，计算全局单应性矩阵，从而将局部视角图像变换到参照图像块上，其中基于下式进行两次全局变换迭代，表示如下：其中表示局部视角图像中的一个图像块，π表示远景投影，w为图像块的尺寸，∈为搜索宽度，Ir为参考图像，Il为局部图像，r是参考，l为局部视角，p为由三维齐次坐标映射到的二维坐标，pr为参考图像的由三维齐次坐标映射到的二维坐标，pl为局部图像的由三维齐次坐标映射到的二维坐标,pr*为使右侧表达式达到最大的pr的值，H为单应性矩阵。在优选实施例中，所述步骤A2.2中，在第一次迭代中，H初始化为单位矩阵，图像块的尺寸w和搜索宽度∈都设置为256，第二次迭代中，w和∈均设置为128。在优选实施例中，所述步骤A2.2中，通过FFT进行加速。在优选实施例中，所述步骤A3中，对大本文档来自技高网...

【技术保护点】
1.一种高光谱十亿像素视频生成方法，其特征在于，所述方法包括以下步骤：A0：图像采集：用包括多个局部视角相机和一个全局视角的参考相机的多尺度混合相机阵列采集局部视角图像和参照图像；A1：图像数据预处理：将局部视角相机中的每幅图像的尺寸依据fr/fl降低，fr为局部视角相机的聚焦长度，fl为参考相机的聚焦长度；A2：全局变换迭代：找到每一个局部视角图像和其在参照图像中对应的参照图像块之间具有鲁棒性的特征一致性；A3：基于网孔的变换迭代：基于网孔变换的单应方法改善特征一致性；A4：颜色校准及重叠处理：将任一参照块的颜色风格赋予对应的局部视角图像，将参考的颜色风格转移至局部视角图像中，转移方法依照仿射颜色映射模型；在参照块上应用Graphcut算法以替换参考块上重叠的局部视角图像。

【技术特征摘要】
1.一种高光谱十亿像素视频生成方法，其特征在于，所述方法包括以下步骤：A0：图像采集：用包括多个局部视角相机和一个全局视角的参考相机的多尺度混合相机阵列采集局部视角图像和参照图像；A1：图像数据预处理：将局部视角相机中的每幅图像的尺寸依据fr/fl降低，fr为局部视角相机的聚焦长度，fl为参考相机的聚焦长度；A2：全局变换迭代：找到每一个局部视角图像和其在参照图像中对应的参照图像块之间具有鲁棒性的特征一致性；A3：基于网孔的变换迭代：基于网孔变换的单应方法改善特征一致性；A4：颜色校准及重叠处理：将任一参照块的颜色风格赋予对应的局部视角图像，将参考的颜色风格转移至局部视角图像中，转移方法依照仿射颜色映射模型；在参照块上应用Graphcut算法以替换参考块上重叠的局部视角图像。2.如权利要求1所述的方法，其特征在于，所述步骤A1中的图像数据预处理是将各局部视角视频根据fr/fl比值进行尺寸缩放。3.如权利要求1所述的方法，其特征在于，所述步骤A2中，通过以下步骤找出每个局部视角图像和对应的参照图像块之间鲁棒的特征一致性：A2.1、对局部视角图像中的图像块和对应的参照图像块之间使用零均值归一化相互关系数进行结构化相似度测量，得到最初的特征一致性；A2.2、基于匹配成功的特征，计算全局单应性矩阵，从而将局部视角图像变换到参照图像块上，其中基于下式进行两次全局变换迭代，表示如下：其中表示局部视角图像中的一个图像块，π表示远景投影，w为图像块的尺寸，∈为搜索宽度，Ir为参考图像，Il为局部图像，r表示参考，l表示局部视角，p为由三维齐次坐标映射到的二维坐标，pr为参考图像的由三维齐次坐标映射到的二维坐标，pl为局部图像的由三维齐次坐标映射到的二维坐标，pr*为使右侧表达式达到最大的pr的值，H为单应性矩阵。4.如权利要求3所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：方璐，刘烨斌，王好谦，戴琼海，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东,44