一种基于纹理迁移的混合相机的光场图像超分辨率方法技术

本发明专利技术公开一种基于纹理迁移的混合相机的光场图像超分辨率方法，步骤包括光场图像颜色矫正、视差图计算和超分辨率网络构建三个部分。其中，光场图像颜色矫正利用WCT风格转换模型使得光场图像接近单反图像的颜色；视差图计算是利用EPI全卷积神经网络模型计算视差图；超分辨率网络构建包含三个模块：第一个模块将光场的一行和一列子视点，经过RCABA提取相应子视点的特征；第二模块是PS‑PA将RCABA网络得到的低频信息融合后重建为高分辨率图像；第三模块使用纹理迁移网络提取将单反图高分辨率的纹理信息并迁移到光场中心视点上。本发明专利技术既利用了光场其他视点的补充信息又利用了单反图的高频信息，可以得到更高质量的超分辨率图。

【技术实现步骤摘要】
一种基于纹理迁移的混合相机的光场图像超分辨率方法
本专利技术涉及一种基于纹理迁移的混合相机的光场图像超分辨率方法，属于计算机图像处理

技术介绍
超分辨率一般包含两种：其一是参考当前低分辨率图像，不依赖其他相关图像的超分辨率技术，称之为单幅图像的超分辨率。其二是参考多幅图像或多个视频帧的超分辨率技术，称之为多帧视频/多图的超分辨率(multi-framesuperresolution)。单张图像获取的信息太少，视频需要借助光流等不精确的方法来对齐帧造成超分辨率的误差，光场图像一般仅借助光场内部视点有局限性。因此，本专利技术提供了一种基于纹理迁移的混合相机的光场图像超分辨率方法，以优化上述问题。
技术实现思路
本专利技术的目的在于提供一种基于纹理迁移的混合相机的光场图像超分辨率方法，通过利用光场图像部分子视点的信息和单反图的高频信息，设计了基于纹理迁移的混合相机的光场图像超分辨率网络结构，从而实现了既利用了光场其他视点的补充信息又利用了单反图的高频信息，可以得到更高质量的超分辨率图。本专利技术的单反图是本文档来自技高网...

【技术保护点】
1.一种基于纹理迁移的混合相机的光场图像超分辨率方法，其特征在于，步骤包括光场图像颜色矫正、视差图计算和超分辨率网络构建三个部分；/n其中，所述光场图像颜色矫正是利用WCT风格转换模型使得光场图像接近单反图像的颜色；/n所述视差图计算是利用EPI全卷积神经网络模型来计算光场中心视点的视差图；/n所述超分辨率网络构建包括三个模块：第一个模块是将光场的一行和一列子视点，经过3D的残差通道注意力信息融合机制RCABA提取相应子视点的特征；第二个模块是重建模块PS-PA将RCABA的网络得到的低频信息融合后重建为高分辨率图像，主要由PixelShuffle层、卷积层和像素注意力模块组成；第三个模块是使...

【技术特征摘要】
1.一种基于纹理迁移的混合相机的光场图像超分辨率方法，其特征在于，步骤包括光场图像颜色矫正、视差图计算和超分辨率网络构建三个部分；
其中，所述光场图像颜色矫正是利用WCT风格转换模型使得光场图像接近单反图像的颜色；
所述视差图计算是利用EPI全卷积神经网络模型来计算光场中心视点的视差图；
所述超分辨率网络构建包括三个模块：第一个模块是将光场的一行和一列子视点，经过3D的残差通道注意力信息融合机制RCABA提取相应子视点的特征；第二个模块是重建模块PS-PA将RCABA的网络得到的低频信息融合后重建为高分辨率图像，主要由PixelShuffle层、卷积层和像素注意力模块组成；第三个模块是使用纹理迁移网络，提取单反图高分辨率的纹理信息并将纹理信息迁移到光场中心视点上。


2.根据权利要求1所述的一种基于纹理迁移的混合相机的光场图像超分辨率方法，其特征在于，所述光场图像颜色矫正的方法为：首先训练多个解码器，将图像输入预训练好的VGG网络，提取不同的层结果作为编码输出，保持编码器的权重不变，设计解码网络，利用损失函数设计解码器；然后通过WCT层的白化操作和上色操作得到编码-WCT-解码的网络结构，从而实现光场图像颜色的矫正。


3.根据权利要求2所述的一种基于纹理迁移的混合相机的光场图像超分辨率方法，其特征在于，所述白化操作为根据原图的协方差矩阵的对角矩阵和正交...

【专利技术属性】
技术研发人员：晏涛，井花花，李明悦，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32