【技术实现步骤摘要】
具有流估计和图像超分辨率的多相机阵列图像的视图插补
本公开大体地涉及图像处理领域，具体地涉及使用深度学习的具有流估计和图像超分辨率的多相机阵列图像的视图插补。
技术介绍
在多视图相机阵列图像(例如，来自场景的两个或更多个视图的图像)的情境中，在呈现给观看者的二维静态图像中创建深度的感觉和感知使得图像更有吸引力。例如，运动视差效果可被用于向用户呈现更有吸引力的图像，使得利用多相机阵列系统从不同视点捕获场景并且合成中间视图，从而使得当图像被从不同的角度观看时观看者可感知到场景中的深度信息。用于合成中间视图的当前技术包括估计图像对之间的光流并且使用估计的流来预测中间图像。一些光流技术使用提供有限准确度的朴素数学方法，而其他光流技术使用基于补丁的方法来预测中间图像，这在有限的一组场景中提供良好的准确度，但在其能够处理的视差方面是有限的并且在计算上是非常密集的。在多视图相机阵列或其他多视图情境中就准确度和计算效率两者改进中间视图合成，可能是有利的。正是考虑到这些和其他考虑事项，所以需要本改进。随着在多种情境中显示多视图...
【技术保护点】
1.一种用于实现卷积神经网络CNN的系统，包括：/n存储器，其存储第一图像和第二图像，其中所述第一图像和所述第二图像包括场景的不同视图并且具有第一分辨率；以及/n与所述存储器耦合的处理器，该处理器：/n对所述第一图像和所述第二图像进行缩减以提供第一缩减图像和第二缩减图像；/n至少部分地基于将第一卷积神经网络应用到第一输入体积来生成至少一个视差图，所述第一输入体积包括所述第一缩减图像和所述第二缩减图像，其中所述视差图包括视差值来平移所述第一缩减图像和所述第二缩减图像；/n至少部分地基于所述视差图来确定第一平移缩减图像和第二平移缩减图像；/n将第二卷积神经网络应用到第二输入体积...
【技术特征摘要】 【专利技术属性】
20180925 US 16/141,4261.一种用于实现卷积神经网络CNN的系统，包括：
存储器，其存储第一图像和第二图像，其中所述第一图像和所述第二图像包括场景的不同视图并且具有第一分辨率；以及
与所述存储器耦合的处理器，该处理器：
对所述第一图像和所述第二图像进行缩减以提供第一缩减图像和第二缩减图像；
至少部分地基于将第一卷积神经网络应用到第一输入体积来生成至少一个视差图，所述第一输入体积包括所述第一缩减图像和所述第二缩减图像，其中所述视差图包括视差值来平移所述第一缩减图像和所述第二缩减图像；
至少部分地基于所述视差图来确定第一平移缩减图像和第二平移缩减图像；
将第二卷积神经网络应用到第二输入体积以生成缩减的中间图像，所述第二输入体积包括所述第一平移缩减图像和所述第二平移缩减图像以及所述视差图，所述缩减的中间图像包括所述第一平移缩减图像和所述第二平移缩减图像之间的视图；
至少部分地基于将图像超分辨率卷积神经网络应用到所述缩减的中间图像来生成具有所述第一分辨率的中间图像；并且
提供所述中间图像来呈现给观看者。
2.如权利要求1所述的系统，其中，所述第一卷积神经网络包括第一编码器-解码器卷积神经网络，并且其中所述处理器生成所述至少一个视差图包括所述处理器：
将所述第一编码器-解码器卷积神经网络应用到所述第一输入体积以生成第一视差图和第二视差图；
利用所述第一视差图和所述第二视差图来平移所述第一缩减图像和所述第二缩减图像以生成第三平移缩减图像和第四平移缩减图像；并且
将第二编码器-解码器卷积神经网络应用到第三输入体积以生成所述至少一个视差图，所述第三输入体积包括所述第三平移缩减图像和所述第四平移缩减图像。
3.如权利要求2所述的系统，其中，所述第一编码器-解码器卷积神经网络和第所述二编码器-解码器卷积神经网络具有相同的体系结构并且实现相同的神经网络权重。
4.如权利要求3所述的系统，其中，所述第一编码器-解码器卷积神经网络和所述第二编码器-解码器卷积神经网络各自包括编码器部分和解码器部分，其中，所述编码器部分具有编码器层来以不同的分辨率从所述第一输入体积和所述第三输入体积提取特征，并且所述解码器部分利用与所述编码器层分别对应的跳过连接来组合所提取的特征以估计光流。
5.如权利要求1所述的系统，其中，所述第一卷积神经网络包括编码器-解码器卷积神经网络，所述处理器生成所述至少一个视差图包括所述处理器：将所述编码器-解码器卷积神经网络应用到所述第一输入体积以生成第一视差图和第二视差图，并且所述编码器-解码器卷积神经网络包括编码器部分和解码器部分，其中，所述编码器部分具有编码器层来以不同的分辨率从所述第一输入体积提取特征，并且所述解码器部分利用与所述编码器层分别对应的跳过连接来组合所提取的特征以估计光流。
6.如权利要求1到5中任一项所述的系统，其中，所述第二卷积神经网络包括体积卷积神经网络。
7.如权利要求1到6中任一项所述的系统，其中，所述处理器应用所述图像超分辨率卷积神经网络包括所述处理器：
向所述缩减的中间图像应用多个相邻卷积层和跟随在所述多个相邻卷积层之后的解卷积层以生成特征图像，所述特征图像具有比所述缩减的中间图像的第三分辨率大的第二分辨率；
对所述缩减的中间图像进行上采样以生成具有所述第二分辨率的第二中间图像；并且
组合所述特征图像和所述第二中间图像以生成上采样的中间图像。
8.如权利要求7所述的系统，其中，所述多个相邻卷积层被分离成块，其中每个块包括预定数目的卷积层并且每个块实现相同的神经网络权重，并且其中在卷积层的每个块之间提供残余连接，所述残余连接组合每个块的输入和输出。
9.如权利要求7所述的系统，其中，所述处理器应用所述图像超分辨率卷积神经网络还包括所述处理器：
向所述上采样的中间图像应用多个第二相邻卷积层和跟随在所述多个第二相邻卷积层之后的第二解卷积层以生成具有所述第一分辨率的第二特征图像；
对所述上采样的中间图像进行上采样以生成具有所述第一分辨率的第三中间图像；并且
组合所述第二特征图像和所述第三中间图像以生成最终上采样中间图像。
10.如权利要求1到9中任一项所述的系统，其中，所述缩减的中间图像在第一颜色空间中，所述处理器还：
将所述缩减的中间图像转换到第二颜色空间，所述第二颜色空间包括亮度通道和一个或多个第二通道；
分离所述亮度通道和所述一个或多个第二通道，其中所述图像超分辨率卷积神经网络只被应用到所述缩减的中间图像的亮度通道；
对所述缩减的中间图像的所述一个或多个第二通道进行扩增；并且
将只具有亮度通道的所述图像超分辨率卷积神经网络的输出图像与所述缩减的中间图像的被扩增的一个或多个第二通道串接以生成所述中间图像。
11.如权利要求1到10中任一项所述的系统，所述处理器还：
分开训练视图合成网络和所述图像超分辨率卷积神经网络以确定视图合成网络参数和图像超分辨率卷积神经网络参数，其中所述视图合成网络包括所述第一卷积神经网络和所述第二卷积神经网络。
12.如权利要求1所述的系统，其中，所述第一卷积神经网络包括编码器-解码器卷积神经网络，所述编码器-解码器卷积神经网络包括编码器部分和解码器部分，其中所述编码器部分具有编码器层来以不同的分辨率从所述第一输入体积提取特征，并且所述解码器部分利用与所述编码器层分别对应的跳过连接来组合所提取的特征以估计光流，所述第二卷积神经网络包括体积卷积神经网络，并且所述图像超分辨率卷积神经网络包括：多个相邻卷积层和跟随在所述多个相邻卷积层之后的解卷积层，用于生成具有比所述缩减的中间图像的第三分辨率大的第二分辨率的特征图像；上采样器，用于对所述缩减的中间图像进行上采样以生成具有所述第二分辨率的第二中间图像；以及加法器，用于组合所述特征图像和所述第二中间图像以生成上采样的中间图像。
技术研发人员：宾迪塔·乔杜里，张帆，奥斯卡·内斯塔雷斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。